方差与偏差

"偏差方差分解" (bias-variance decomposition)是解释学习算法泛化性能的一种重要工具.

---

偏差方差分解试图对学习算法的期望泛化错误率进行拆解.我们知道，算法在不同训练集上学得的结果很可能不同，即便这些训练集是来自同一个分布.对测试样本队令 y_D 为 m 在数据集中的标记 ， y 为 x 的真实标记 (注：理论上y=y_D ,当有噪声时，会出现y!=y_D,即错误的标注)， f(x; D) 为训练集 D 上学得模型 f 在 m 上的预测输出.以回归任务为例，学习算法的期望预测为:

使用样本数相同的不同训练集产生的方差为:

噪声(即错误标注标签的)为:

期望输出与真实标记的差别称为偏差 (bias) ，即

为便于讨论，假定噪声期望为霉，即 ED[ω -y] =0. 通过简单的多项式展开合井，可对算法的期望泛化误差进行分解:

也就是说?泛化误差可分解为偏差、方差与噪声之和.

回顾偏差、方差、噪声的含义:

• 偏差 (2.40)度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力;
• 方差 (2.38)度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响;
• 噪声 (2.39) 则表达了在当前任务上任何学习算法所能达到的期望泛化误差的F界，即刻画了学习问题本身的难度（也就是说，这个数据有的label本身就是标记错的，模型再怎么学习也不可能达到完全拟合，因此就有一个下届）.

偏差一方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的.给定学习任务?为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小.

一般来说?偏差与方差是有冲突的，这称为偏差一方差窘境 (bias-variance dilemma).给定学习任务，假定我们能控制学习算法的训练程度，则在训练不足时学习器的拟合能力不够强，训练数据的扰动不足以便学习器产生显著变化，此时偏差主导了泛化错误率;随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐主导了泛化错误率;在训练程度充足后，学习器的拟合能力已非常强，训练数据发生的轻微扰动都会导致学习器发生显著变化，若训练数据自身的、非全局的特性被学习器学到了，则将发生过拟合.

参考：
《机器学习》周志华