偏差（Bias）与方差（Variance）

含义

Bias 和 Variance 是针对模型的泛化来讲的。

首先如果我们能够获得所有可能的数据集合，并在这个数据集合上将 loss 最小化，这样学习到的模型就可以称之为“真实模型”，当然，我们是无论如何都不能获得并训练所有可能的数据的，所以“真实模型”肯定存在，但无法获得，我们的最终目标就是去学习一个模型使其更加接近这个真实模型。而 Bias 和 Variance 分别从两个方面来描述了我们学习到的模型与真实模型之间的差距。
原文地址 https://www.zhihu.com/question/27068705/answer/82132134

区别

image.png

• Bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异。
• Variance 则是“不同的训练数据集训练出的模型”的输出值之间的差异。

与欠拟合和过拟合的关系

一般来讲，在训练的初期，训练集还没有对模型产生影响，此时不同的训练集训练出的模型差异很小，即 Variance很小，但是模型学出的信息很少，所以 Bias 很大。
随着训练过程的进行，Bias 变小了，因为我们的模型变得“聪明”了，但是模型过度的学习了训练集本身的信息，导致不同的训练集的预测结果差距很大，即 Variance很大。