机器学习的奥卡姆剃刀原理

定义

奥卡姆剃刀定律（Occam’s Razor, Ockham’s Razor）又称“奥康的剃刀”，它是由14世纪英格兰的逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出。这个原理称为“如无必要，勿增实体”，即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。”

机器学习中的运用

奥卡姆剃刀定律也是机器学习选择算法时可参照的标准之一。其含义是：在其他条件一样的情况下，选择简单的那个。
该定律的意义在于数据的拟合和低复杂性之间实际上存在着折中性。

理论上假设的解决方案越复杂，就越能拟合数据，训练数据误差就会越低

但是在现实生活中，有关未知数据的泛化误差，往往如图2所示。

泛化数据误差实际是训练数据误差与另一个名为过拟合误差的函数之和。

在泛化误差最小得情况下，可获得最佳复杂性。用于计算过拟合误差得方法统称为贝叶斯方差方法。在现实生活中，通常只会获得训练数据误差。但实践表明，如果你不去选择能够使训练数据误差最小化的模型，而是选择复杂性低一点的模型，算法的表现往往会更好。过拟合是机器学习算法性能不佳得主要缘由。这也是在机器学习中应用奥卡姆剃刀定律的原因。

参考

1. https://baike.baidu.com/item/%E5%A5%A5%E5%8D%A1%E5%A7%86%E5%89%83%E5%88%80%E5%8E%9F%E7%90%86/10900565?fr=aladdin
2. https://www.jianshu.com/p/e5f2a432ce62