偏差（bias）与方差(variance)

偏差与方差
偏差: 描述模型输出结果的期望与样本真实结果的偏离程度。

• 方差: 描述模型对于给定值的输出稳定性。 度量同样大小的训练集的变动所导致的学习性能的变化，刻画数据扰动所产生的影响
  m为样本均值，u为总体均值，$x_i$为样本值，$\overline{f}$表示学习算法的期望输出，f(x,D)为样本上的期望输出，y为样本真实标记值。

$$\overline{f}=E_D(f(x,D))$$

$$均方误差：bia{s}^2(x)=[\overline{f}(x)-y{]}^2$$

$$var(s)=E_D[(f(x,D)-\overline{f}{)}^2]$$

偏差表示期望输出与真实标记的差别
$\hat{f}$表示总体期望值，$f^{\ast }$一次实验的结果(根据样本估测的值)
图中Bias表示偏差，即打靶时没有瞄准中心点，Variance好比发射出去时手抖了
简单模型：偏差大，方差小（简单模型受样本值的影响较小，稳定性高），容易造成欠拟合
复杂模型：偏差小，方差大，容易产生过拟合
横轴表示模型的幂数或者模型的复杂度



模型越复杂，越容易贴合训练样本，所以显得bias小，模型简单了未能采集到所有样本。

• 判断偏差大还是方差大：
  模型上的训练样本的真实值较少，则偏差大（欠拟合）
  在训练样本上样本拟合的较好，但在测试集上拟合较差，则方差大（过拟合Overfiting）
  当偏差较大时，表示目标可能为在模型上（即未瞄准靶心），需要重新训练model（有可能未考虑其他因素对样本的影响，或者应让模型更复杂考虑更高次幂的情况）。
  方差较大时，1，增加更多的数据,；2，正则化，