【机器学习－西瓜书】二、偏差-方差分解；泛化误差

2.5偏差与方差

关键词：偏差-方差分解；泛化误差 。

偏差-方差分解是解释算法泛化性能的一种重要工具。偏差-方差分解试图对学习算法的期望泛化错误率进行拆解。

泛化误差可分解为：偏差，方差与噪声之和。

偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 。

方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。

因此，泛化性能是由学习算法的能力，数据的充分性以及学习任务本身的难度所共同决定的。