【读书笔记】周志华 机器学习 第一章 绪论

基本术语

编号	$x_1$	$x_2$	$y$
1	1	1	0
2	1	0	1
3	0	1	1
4	0	0	0

以上表数据集为例，一般地，
称$x_1$, $x_2$ 为特征；特征张成地空间为输入空间或者特征空间；称特征空间中的一个点${\mathbf{x}}_1=(1,1)$ 为示例或者输入向量或者特征向量。
称$y$是标记，有标记的示例称为样例，用$({\mathbf{x}}_i,y_i)$表示第$i$个样例，所有标记的集合称为标记空间或者输出空间。

假设空间

一般地，我们的任务是通过对数据的学习，得到输入空间到输出空间的映射；所有可能地映射构成的集合称为假设空间。

归纳偏好

对于一个机器学习算法，通过对已知数据地学习，可能得到多个符合已知数据的映射，这时算法需要有一个偏好来确定一个模型，否则在分析新数据时会产生错误。比如说通过已知数据得到两个映射$f_1$和$f_2$，当分析新数据${\mathbf{x}}_i$时，$f_1({\mathbf{x}}_i)!=f_2({\mathbf{x}}_i)$ ，相互矛盾，所以需要选择其中一个映射。
一般使用奥卡姆剃刀原则作为偏好，即若有多个假设和观察一致，则选最简单的那个。奥卡姆剃刀原则并非唯一可行的偏好。
根据某个偏好得到的模型在某些情况下表现更好，那么一定会在别的某个情况下表现更坏。这就是没有免费午餐定理。证明如下：

由上述证明可以得到，带有不同偏好的算法，总误差和算法无关。算法A和算法B的总误差是一样的。算法A在某个情况下表现好误差小的时候，必定会在其他某个情况下表现差误差大。这并不是说算法都一样没有好坏之分。因为我们要求的就是具体某种情况下的最优模型，这个模型在别的情况下好不好我们并不关心。这个定理告诉我们具体问题具体分析，没有万能钥匙。

参考文献

周志华 机器学习 清华大学出版社
谢文睿、秦州 机器学习公式详解 人民邮电出版社