《机器学习（周志华）》——第1章 绪论

1、反映事件或对象在某方面的表现或性质的事项，称为属性（attribute）或特征（feature）；

属性上的值称为属性值（attribute value）

属性张成的空间称为属性空间（attribute space）、样本空间（sample space）；

一个示例（instance）或样本（sample）也称为特征向量（feature vector）；

有时会将模型称为“学习器”（learner），可看作学习算法在给定数据和参数空间上的实例化；

对样本进行分类称为标记（label），拥有标记信息的示例称为“样例”（example）；

若我们想要预测的是离散值，这类学习任务称为分类（classification）；若我们想预测的是连续值，这类学习任务称为回归（regression）；

对于只涉及两个类别的“二分类”（binary classification），通常称其中一个为“正类”（positive class），另一个为反类（negative class）；涉及多个类别称为多分类（multi-class classification）。

 

2、聚类（clustering）就是将训练集中的西瓜分成若干个组，每个组称为一个“簇”（cluster），这些自动形成的簇对应一些潜在的概念划分，这些潜在概念我们事先不知道，且学习过程中使用的训练样本通常不拥有标记信息。

根据训练数据是否拥有标记信息，学习任务大致分为“监督学习”（supervised learning）和“无监督学习”（unsupervised learning），分类和回归是前者的代表，聚类是后者的代表。

机器学习的目标是使学得的模型能很好地适用于“新样本”，而不仅仅实在训练样本上工作得很好，学得模型适用于新样本的能力，称为“泛化”（generalization）能力。

 

3、从样例中学习称为“归纳学习”（inductive learning），这也是广义的归纳学习；狭义的归纳学习则要求从训练数据中学得概念（concept），也成为概念学习（最基础的是布尔概念学习）。

学习的过程可以看做在所有假设（hypothesis）组成的空间中搜索的过程，搜索的目标是找到与训练集“匹配”（fit）的假设。

可能出现多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称为“版本空间”（version space）。

关于假设空间和版本空间详解

 

4、机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”（inductive bias），任何一个有效的机器学习算法必有其归纳偏好，一般的原则是“若有多个假设与观察一致，则选择最简单的那个”。

NFL定理说明，算法A在某些问题上好于算法B，则在另一些问题上算法B一定好于算法A，所以要具体问题具体分析。

 

5、发展历程

符号主义学习（代表是决策树和基于逻辑的学习） → 基于神经网络的连接主义学习（代表BP算法） → 统计学习（代表SVM和核方法） → 连接主义学习（代表深度学习）