周志华机器学习（西瓜书）第一章绪论

（一）基本术语

1.标记

2.样例

3.泛化能力

4.过拟合

（二）学习任务的分类

学习任务种类：

1.按照数值类型

（1）分类：预测的是离散值

（2）回归：预测的是连续值

2.训练数据是否有标记

（1）有监督学习：有标记，包括分类和回归。

（2）无监督学习：无标记，包括聚类（对训练集进一步分组）

（三）一些理论

1.奥卡姆剃刀理论：多个假设与观察一致，选择最简单的。

2.NFL（没有免费的午餐）：无论学习算法如何，期望性都相同（它的前提是所有问题重要性一样，但实际上我们关注的是现实的具体问题）