机器学习笔记——假设空间与归纳偏好

一，假设空间

学习过程是一个在所有假设组成的空间，即假设空间中进行搜索的过程。搜索目标是找到与训练集“匹配”的假设。

举个例子：

这里要学习的目标是“好瓜”。暂且假设“好瓜”可由色泽，根蒂，敲声这三个因素完全确定。于是，我们学得的将是“好瓜是某种色泽，某种根蒂，某种敲声的瓜”这样的概念。图1.1直观地显示出了这个西瓜问题的假设空间。

需要注意的是，现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的假设集合，称之为版本空间。与表1.1训练集所对应的版本空间如图1.2所示。

二，归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，或简称为“偏好”。

归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或者价值观。这种价值观的一个典型叫做“奥卡姆剃刀”：若有多个假设与观察一致，则选择最简单那个。

事实上，归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。在具体的现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

没有免费的午餐定理（NFL）:在所有”问题“出现的机会相同、或者所有问题同等重要的前提下，任何两个学习算法的期望性能相同。

NFL定理的意义在于——脱离具体问题，空泛地谈论”什么学习算法更好“毫无意义，因为若考虑所有潜在问题，则所有的学习算法都一样好。