《机器学习》阅读笔记 第一章

1. 基本术语

只记录自己可能搞错的、或者以前没有注意到的术语的含义

1.1 关于输入数据

• instance：不带标记（label）的一条样本
• example：带标记的一条样本
• attribute/sample/input space：属性取值张成的空间，即每个位置上属性可能取值的笛卡尔积
• 数据集的表示
  • $D=(x_1,x_2,...,x_m)$：包含$m$个样例的数据集
  • $x_i=(x_{i1},x_{i2},...,x_{id})$：有着$d$个属性的数据

1.2 关于输出

• hypothesis：$f(x)$
• ground-truth：$y$
• 无监督学习
  • 离散：聚类
  • 连续：密度估计

2. 假设空间与归纳偏好

2.1 假设空间

可以将（概念）学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索的办法是逻辑推理，利用样本数据，不断地从假设空间中排除假设，关于这一理论的典型算法是“候选消除算法”（细节参见Mitchell《机器学习》第二章），其定义了一般边界和特殊边界，利用每一个输入的训练样例分别对其特殊化与泛化，最终得到一个与所有训练样本相一致的假设。

2.2 归纳偏好

• 什么是归纳偏好？就是对于一个训练数据集可能会找到多个与其相一致的假设（模型），算法必须从中选择一个作为最终的结果。例子：穿过同一点列的多条多项式曲线
• 为什么要有归纳偏好？是为了得到一个确定的结果
• 如何确定归纳偏好？奥卡姆剃刀原则，选择尽可能简单的模型
• 什么叫“简单”？没有明确的定义

2.3 NFL定理

这个定理说明了：对于等可能出现的问题集合，如果算法${\mathcal{L}}_a$在一些问题上表现比${\mathcal{L}}_b$好，那么在另一些问题上必然得到相反的结果，也就是说，某一种归纳偏好无法在所有问题上都得到最好的结果。

证明过程中，关键是理解
$$\sum _f\mathbb{I}(h(x)\ne f(x))=\frac{1}{2}{2}^{|\mathcal{X}|}$$

这个式子的含义。如果以二分类为例，$|\mathcal{X}|$ 代表样本个数，那么一共有 $2^{|\mathcal{X}|}$ 个可能的函数，由于假定均匀分布，因此有一半的假设函数 $h$ 与真实结果一致，即有一半的示性函数结果为1，这就得到了结果。

NFL定理在证明过程中，假定了“所有问题是等可能出现的”，然而实际中，我们处理的是某些特定的问题，另一些问题我们根本不关心。因此，NFL定理的含义是：选择与要处理的问题相匹配的归纳偏好。