西瓜书第一章的几条总结

1、奥卡姆剃刀（Occam's razor）是一种常用的、自然科学研究中最基本的原则。即“若有多个假设与观察一致，则选择最简单的那个”

2、“天下没有免费的午餐”定理（No Free Lunch Theorem,简称 NFL），证明了所有算法的期望性能都相同。但我们要注意到NFL定理有一个重要的前提：所有“问题”出现的机会相同、或所有问题同等重要。但实际上并不是这样。很多时候我们只关注自己正在试图解决的问题（例如某个具体的应用）。NLF最重要的寓意是让我们清楚地认识到，脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义。

3、现在说的深度学习和二十世纪八十年代神经网络不是一个内容。（他们分别是什么？区别是什么？）（深度学习是神经网路的延伸和发展）

4、一般大家都会认为是根据对人的大脑的研究来启发算法的研究。但P.Kanerva在二十世纪八十年代中期提出SDM模型时并没有可以模仿脑生理结构，但后来神经科学的研究发现，SDM的稀疏编码机制在视觉、听觉、嗅觉功能的脑皮层中广泛存在。

5、“多释原则”：主张保留与经验观察一致的所有假设，这与集成学习方面的研究更加吻合。（古希腊哲学加提出）

6、机器学习领域最重要的国际学术会议：

国际机器学习会议（ICML）

国际神经信息处理系统会议（NIPS）

国际学习理论会议（COLT）等

参见西瓜书第17页--18页