过拟合/欠拟合、偏差/方差

基本概念

• 偏差：度量了学习算法的期望预测与真实结果的偏离程度, 即刻画了学习算法本身的拟合能力。
• 方差：度量了同样大小的训练集的变动所导致的学习性能的变化, 即刻画了数据扰动所造成的影响。
• 噪声：描述了在当前任务上，任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
• 经验误差：模型关于训练样本集的平均误差，也称经验风险。
• 结构风险：在经验风险的基础上加上表示模型复杂度的正则化项。
• 泛化误差：模型在新样本集（测试集）上的平均误差。 泛化误差=偏差+方差+噪声
• 欠拟合：模型的经验误差大，模型太简单，在训练的过程中基本没学到有价值的内容。
• 过拟合：模型学习了太多的训练样本的“个性”（经验误差小），但是对于未知的样本泛化能力差（泛化误差大）。

机器学习的泛化能力

机器学习是逼近目标函数$Y=f(X)$的过程。

归纳性学习：从训练数据学习目标函数的学习过程。
泛化：机器学习模型学习到的模型，在学习训练时没遇到的样本上的表现。
拟合：逼近目标函数的远近程度。通过描述函数和目标函数逼近的吻合程度来描述拟合的好坏。

机器学习模型的目标： 在问题领域内，从训练数据到任意的数据上泛化性能良好。即对模型没有见过的数据进行预测。

Q：训练时，为什么考虑模型在预测新数据时的泛化性能？
S：因为已知的数据是样本，是带有噪声且不完全的。

 讨论一个机器学习模型学习和泛化能力的好坏时，通常使用：过拟合和欠拟合。它们是机器学习表现不佳的两大原因。

过拟合、欠拟合

概念

• 欠拟合：模型没有很好地捕捉到数据特征，不能够很好地拟合数据。
• 过拟合：模型把训练数据学习的太彻底，以至于把噪声数据的特征也学习到了，使得模型泛化能力差。在测试时，不能够很好地识别（正确分类）新数据。

过拟合：在训练数据上表现良好，在未知数据上表现差
欠拟合：在训练数据和未知数据上表现都很差

模型复杂度$\uparrow$的变化

• 开始时，模型往往是欠拟合的，也因此才有了优化的空间。
• 过程：不断的调整算法，使得模型的性能更好。
• 优化到了一定程度，就需要解决过拟合问题了。
  

与【偏差/方差】的关系

偏差

 预测输出与真实标记的差别。