【学习笔记】【机器学习】第1章——绪论

第1章 1

1.1 引言 1

本书用模型泛指从数据中学得的结果。

1.2 基本术语 2

• 数据集：记录的集合
• 样本（示例）：每条记录是关于一个事件或对象的描述
• 特征（属性）：反映事件或对象在某方面的表现或性质的事项
• 属性值：属性的取值
• 属性空间（样本空间）：属性张成的空间
• 特征向量：示例
• 维数：属性描述的个数
• 学习（训练）：从数据中学得模型
• 训练数据、训练样本、训练集：训练过程中使用的数据、其中每个样本、训练样本组成的集合
• 假设：学得模型对应了关于数据的某种潜在的规律
• 泛化能力：学得模型适用于新样本的能力

基本术语有很多，在学完后做几个项目会对这些术语有更全面的认识。

1.3 假设空间 4

西瓜数据集：

假设空间：所有假设组成的集合

若“色泽”“根蒂”“敲声”分别有3、3、3中可能取值，假设空间规模大小为65：
$$\begin{array}{r}(3+1)\times (3+1)\times (3+1)+1=65\end{array}$$

3+1的3为三个属性，1为全部属性（*），后面+1的1为空集。

版本空间：只保留了假设空间中与训练数据集中正例一致的假设，由这些正确的假设构成的集合称为版本空间

通过所给的西瓜数据集对假设空间进行筛选，就可以得到版本空间。

简单说，假设空间就是所有可能的情况，学习过程中通过训练集对其进行筛选得到版本空间。因此，要想判断的正确，就要全面、大量的训练，以排除更多假设空间中的错误假设。错误假设越少，剩下的假设越少，就越有可能是正确假设，我们判断的结果的正确概率越大。

如果还没有理解，可以参考以下的博客，有更加详细的例子：

• 如何理解假设空间与版本空间？

1.4 归纳偏好 6

归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好
训练集外误差：（公式1.1）
$$E_{ote}\left({\mathfrak{L}}_a|X,f\right)=\sum _h\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\mathbb{I}(h(\mathbf{x})\ne f(\mathbf{x}))P\left(h|X,{\mathfrak{L}}_a\right)$$

其中$\mathbb{I}(\cdot )$是指示函数，若·为真取值1，否则取值0.
对所有可能的f按均匀分布对误差求和，有（公式1.2）
$$\begin{array}{rl}\sum _f{E}_{ote}({\mathfrak{L}}_a|X,f)& =\sum _f\sum _h\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\mathbb{I}(h(\mathbf{x})\ne f(\mathbf{x}))P(h|X,{\mathfrak{L}}_a)\\ & =\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\sum _{h}P(h|X,{\mathfrak{L}}_a)\sum _f\mathbb{I}(h(\mathbf{x})\ne f(\mathbf{x}))\\ & =\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\sum _{h}P(h|X,{\mathfrak{L}}_a)\frac{1}{2}{2}^{|\mathcal{X}|}\\ & =\frac{1}{2}{2}^{|\mathcal{X}|}\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\sum _{h}P(h|X,{\mathfrak{L}}_a)\\ & =2^{|\mathcal{X}|-1}\sum _{\mathbf{x}\in \mathcal{X}-X}P(\mathbf{x})\cdot 1\end{array}$$

公式1.2指出总误差与学习算法无关。（“没有免费的午餐”定理，简称NFL定理）

1.5 发展历程 10

讲述了机器学习的由来与发展过程，有兴趣的同学可以找一些课外资料深入了解。

1.6 应用现状 13

机器学习与多学科融合，不仅在信息科学中有重要地位，还具有一定的自然科学探索色彩。

习题 19

（有空慢慢补）