方差和偏差的关系

目录

 

介绍:

 关系图

偏差方差与打靶


 

介绍:

æ¨å¯¼æ´ç 

  • 偏差.
    偏差度量了学习算法的期望预测与真实结果的偏离程度, 即刻画了学习算法本身的拟合能力。偏差平方公式:
    偏差平方

  • 方差.
    方差度量了同样大小的训练集的变动所导致的学习性能的变化, 即刻画了数据扰动所造成的影响 。

    f(x;D)为期望预测,也就是针对不同数据集 D, f 对 x 的预测值取其期望。那么使用样本数相同的不同训练集产生的方差为:
    方差2

  • 噪声.
    噪声表达了在当前任务上,任何学习算法所能达到的期望泛化误差的下界, 即刻画了学习问题本身的难度。巧妇难为无米之炊, 给一堆很差的食材, 要想做出一顿美味, 肯定是很有难度的。噪声为真实标记与数据集中的实际标记间的偏差:
    噪声

 关系图

偏差方差与打靶

偏差方差与打靶

你可能感兴趣的:(深度学习相关文献和理论)