机器学习中的泛化误差

方差-偏差困境，一般来说偏差和方差冲突称为方差-偏差困境。在机器学习中，用来衡量模型在未知数据上的准确率的指标，叫做泛化误差（Generalization error）。一个集成模型($f$)在未知数据集($D$)上的泛化误差$E(f;D)$，由方差($var$)，偏差($bias$)和噪声($\epsilon$)共同决定。其中方差是模型的稳定性决定，偏差是训练集上的拟合程度决定，噪音是不可控的，泛化误差越小，模型就越理想。
$$E(f;D)=bia{s}^2+var+{\epsilon }^2\text{\hspace{1em}(1)}$$
对于测试样本$x$，令$y_D$为$x$在数据集中的标记（可能存在噪声导致标记值和真实值不同），$y$为$x$的真实值，$f(x;D)$在训练集$D$上学得模型$f$在$x$上的预测值，以回归为例子：

预测值的期望$\bar{y}(x)$为：
$$\bar{y}(x)=E(f(x;D))\text{\hspace{1em}(2)}$$
$\bar{y}(x)$是所有预测值的平均值。

方差($var$)的计算为：
$$var(x)=E[(f(x;D)-\bar{y}(x){)}^2]\text{\hspace{1em}(3)}$$
方差表示在某测试数据集上的方差，都是测试数据集上的预测值与其平均值的关系，与真实值没有关系。

噪声$(\epsilon )$的计算：
$${\epsilon }^2=E[(y_D-y{)}^2]\text{\hspace{1em}(4)}$$
标记值与真实值差平方的期望，一般忽略噪声值。

偏差$(bias)$的计算：
$$bia{s}^2(x)=(\bar{y}(x)-y{)}^2\text{\hspace{1em}(5)}$$
偏差表示预测的期望值与真实值的差别，一般考虑偏差最小的。

偏差度量了学习算法的预测值期望与真实结果的偏离程度，刻画了算法本身对数据的拟合能力也就是训练数据的样本与训练出来的模型的匹配程度；方差度量了训练集的变化导致学习性能的变化，描述了数据扰动造成的影响；噪声则表示任何学习算法泛化能力的下界，描述了学习问题本身的难度。

泛化误差曲线如下：