机器学习速成课程 学习笔记9:泛化

过拟合：为了得到一致假设而使假设变得过度严格。
https://www.zhihu.com/question/32246256

奥卡姆剃刀定律

• 训练集 - 用于训练模型的子集。
• 测试集 - 用于测试模型的子集。

一般来说，在测试集上表现是否良好是衡量能否在新数据上表现良好的有用指标，前提是：

• 测试集足够大。
  您不会反复使用相同的测试集来作假。

以下三项基本假设阐明了泛化：

• 我们从分布中随机抽取独立同分布 (i.i.d) 的样本。换言之，样本之间不会互相影响。（另一种解释：i.i.d. 是表示变量随机性的一种方式）。
• 分布是平稳的；即分布在数据集内不会发生变化。
• 我们从同一分布的数据划分中抽取样本。