《Deep Learning》笔记

机器学习的 没有免费午餐定理（no free lunch theorem）表明 (Wolpert, 1996)，在所有可能的数据生成分布上平均之后，每 一个分类算法在未事先观测的点上都有相同的错误率。换言之，在某种意义上，没 有一个机器学习算法总是比其他的要好。我们能够设想的最先进的算法和简单地将 所有点归为同一类的简单算法有着相同的平均性能（在所有可能的任务上）。

幸运的是，这些结论仅在我们考虑所有可能的数据生成分布时才成立。在真实世界应用中，如果我们对遇到的概率分布进行假设的话，那么我们可以设计在这些 分布上效果良好的学习算法。

这意味着机器学习研究的目标不是找一个通用学习算法或是绝对最好的学习算 法。反之，我们的目标是理解什么样的分布与人工智能获取经验的 ‘‘真实世界’’ 相 关，什么样的学习算法在我们关注的数据生成分布上效果最好。

 

-----换言之，没有通用的机器学习算法，只有最适合特定场景的算法；