偏差（bias）和方差（variance）

偏差：偏差指的是由模型训练得到的结果与真实值之间的差。

解释：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。如果偏差太大，我们就要缩小它，也就是缩小与真实值之间的差异，这样训练的效果会更好。

方差：方差指的是由不同训练集得到的结果之间的差异。期望预测是对不同训练集下的同一样本（测试集）的预测值取均值，而不是对一次训练的所有样本的预测值取均值。

解释：方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

（1）定义期望为:                       

其中 为训练集中的对模型的输出，为模型在数据集中的标记，为的真实标记。

（2）方差的计算公式为：                

(每个x得到的值和平均值的差异再求期望，不同的D会得到不同的方差，通过观察方差的变化来看模型的泛化性)

（3）偏差的计算公式为：                  

（先求x预测值的期望，再求与实际值y的差）

对于偏差和方差，可以估算。一个模型，使用不同的数据集进行建模，在测试集上进行测试，得到一系列的预测值，预测值的方差就是要求的方差，预测值的均值与真实值的差距是偏差。

下面是我计算的一个例子