科学：是什么，为什么
技术：怎么做
工程：做的多快好省
应用：五花八门
利用经验改善系统自身的性能，经验=数据。是主要研究智能数据分析的理论和方法。
PAC（Probably Approximately Correct）概率近似正确
$P(|F(x)-y|≤ϵ)≥1−δ$
任何一个有效的机器学习算法必有其偏好
若非必要，勿增实体
泛化误差
在未来样本上的误差
经验误差
在训练集上的误差，亦称训练误差
误差不是越小越好，容易过拟合
