认识奥卡姆剃刀原则

在学习《机器学习》时关于规则学习一章提到归纳逻辑程序设计ILP中拟归结中对发明出来的规则，提出：根据奥卡姆剃刀原则，同等描述能力下学得的规则越少越好。

1、奥卡姆剃刀原则

这个原理称为“如无必要，勿增实体” （Entities should not be multiplied unnecessarily），有时为了显示其权威性，人们也使用它原始的拉丁文形式：
Numquam ponenda est pluralitas sine necessitate.（避重趋轻）
Pluralitas non est ponenda sine necessitate.（避繁逐简）
Frustra fit per plura quod potest fieri per pauciora.（以简御繁）
Entia non sunt multiplicanda praeter necessitatem.（避虚就实）

这个由14世纪逻辑学家、圣方济各会修士奥卡姆的威廉（William of Occam，约1285年至1349年）提出的原理，就是简单有效。和中国传统上提出的“一即一切，一切即一”吻合，大致意思吧，就是越简单越好。一个数学公式把宇宙规律描述清楚，可能吗？

2、奥卡姆剃刀原则的应用

奥卡姆剃刀常用于两种或两种以上假说的取舍上：如果对于同一现象有两种或多种不同的假说，我们应该采取比较简单或可证伪的那一种。

这类宗教、哲学、世俗、科学纠缠不清的原则，我是无法更多去论证。不过这个原则一定有适用场景，但要说明放之四海而皆准，那也不一定吧。

这不是一个理论而是一个原理，它的目的是为了精简抽象实体。它不能被证明也不能被证伪，因为它是一个规范性的思考原则。

由于它是一种规范性思考的原则（就像是“（你）应该相信，如果a

那么机器学习中用这个原则来选择规则，合适吗？我觉得还是要结合具体任务的背景知识来说。

这篇文章可以看看：

http://lesswrong.com/lw/1ph/youre_entitled_to_arguments_but_not_that/