机器学习中理解算法的归纳偏置（偏好）

参考西瓜书对归纳偏置（偏好）的一些总结理解

模型对应假设空间中的 一个假设！

现在，与训练集（样本）一致的假设有多个，那么应该选择哪一个模型（假设）呢？

如果认为相似的样本应有相似的输出，则对应的学习算法可能偏好“平滑”的曲线。

归纳偏好可以 看作学习算法自身在一个庞大的假设空间中对假设进行选择的启发式或者“价值观”。即天涯何处无芳草，却为什么偏偏选择你！！！

那怎样才能引导算法确立“正确的”偏好，找到更好的你呢？

奥卡姆剃刀原则！即 若有多个假设与观察（训练集）一致，则选最简单的那个！简单粗暴有木有！

这里有个问题，简单的定义是什么不是那么好确定的。

但是，就算你确实选择了最简单的假设，没有免费的午餐NFL定理告诉我们，与训练集一致有多个假设，真实的目标函数f是这些假设之一，如果f是 均匀分布，即在这些假设中是等概率的，那么任意的学习算法，它们偏好不同并分别选择了其中一种假设，则他