周志华《机器学习》 学习笔记（一） 模型评估与选择

欠拟合与过拟合

在机器学习过程中，我们将学习器的实际输出$f(x;D)$ ($D$为训练集）与样本的真实输出 $y_D$之间的差异称为“误差”。¹
我们称学习器在训练集上的误差称之为“训练误差”(training error)或“经验误差”(empirical error)，在新样本上的误差称为“泛化误差”(generalization error)。
大部分情况下，我们可以获得一个在训练集上表现很好，经验误差非常小的学习器。然而，当一个学习器对训练集拟合程度非常好时，往往意味着它学习了训练集中那些并不普遍的规律。因而在面对新样本时产生了错判，导致学习器的泛化能力下降。这种现象在机器学习中被成为“过拟合”(overfitting)现象。与之相对的是“欠拟合”(underfitting)现象，即学习器未能很好地学习样本的普遍规律。

我们训练学习器的目的是为了获取泛化能力较好的模型。然而，我们无法直接获得泛化误差，而对训练集的误差评估又存在过拟合等问题。因此，我们需要讨论针对模型的评估方法，以获取表现较好的模型。

评估方法

为了评估模型的泛化能力，我们将数据集$D$进行适当的处理，分为训练集$S$(training set)和测试集$T$(testing set)。接下来讨论几种常见的划分数据集的方法。

留出法

“留出法”(hold-out)将数据集$D$划分为两个互斥的集合。其中一个作为训练集$S$，另一个作为测试集$T$。即$S\cup T=D$且$S\cap T=\varnothing$。
需要注意的是，在划分数据集时需要尽可能保持数据分布的一致性，避免在数据划分过程中引入额外的偏差。一般采用“分层采样”(stratified sampling)的方式划分数据集。
为了避免单次留出法估计结果的偶然误差，一般采用若干次随机划分、重复进行实验评估后取平均值作为最终结果。
在划分数据集时，我们希望训练集$S$足够大以更接近$D$的普遍规律；也希望测试集$T$足够大以避免偶然误差。一般采取2/3 ~ 4/5的样本用于训练集，剩余的用于测试集。

交叉验证法

“交叉验证法”(cross validation)将数据集划分为$k$个大小相近的互斥子集 $D_1,D_2,...,D_k$ 。有$D=D_1\cup D_2\cup ...\cup D_k,D_i\cap D_j=\varnothing (i\ne j)$。每次取$k-1$个子集用于训练集，余下的子集用于测试集。最终返回这$k$个测试结果的平均值。
交叉验证法评估结果的稳定性和保真性很大程度上取决于$k$的取值，所以也称交叉验证法为“$k$折交叉验证”(k-fold cross validation)。$k$最常用的取值为10；也经常取值为5、20等。
当每次评估只取一个样本作为测试集时，则得到交叉验证法的一个特例：留一法(Leave-One-Out， 简称LOO)。由于留一法的测试集与数据集$D$只差一个样本，所以留一法的评估结果往往被认为比较准确。然而，当数据集比较大时，训练模型的计算开销可能难以承受。

自助法

当我们难以对数据集进行有效划分且无法承担留一法的巨大计算开销时，可以采用“自助法”(bootstrapping)。对于给定数据集 $D$ ，对其进行$m$次有放回的抽样，获得包含$m$个（可能出现重复样本的）数据集 $D^{\prime }$ 。
可以计算某样本在m次抽样中始终不被抽到的概率为$(1-\frac{1}{m}{)}^m$。取极限得
$$\underset{x\to \infty }{\lim }(1-\frac{1}{m}{)}^m.$$
而实际中 $D\setminus D^{\prime }$ 的样本数期望为$m(1-\frac{1}{m}{)}^m$。取 $D^{\prime }$ 为训练集，$D\setminus D^{\prime }$ 为测试集。这样，实际评估的模型与期望评估的模型都使用 $m$ 个训练样本，而我们仍然有占样本总数约1/3的未出现在训练集中的样本用于测试。这种测试结果，亦称“包外估计”(out-of-bag estimate)。
自助法在数据集较小、难以有效划分训练集/测试集时很有用。此外，自助法可以产生多个不同的训练集，这对集成学习等方法有很大的好处。然而，自助法改变了数据集的分布，会引入估计偏差。因此，当初始数据量足够时，留出法和交叉验证法更常用一些。

调参与最终模型

大多数学习算法都有参数。这些参数的设置对于模型的效果有着非常显著的影响。因此，除了对适用的学习算法进行选择外，还需要对算法参数进行设定。一般对于实数范围内取值的参数，常常采用选定范围和变化步长的方式来进行调参。
在建立模型过程中，我们将数据集 $D$ 划分为训练集与测试集，即每次只采用了一部分数据训练模型。在模型选择完成后，学习算法与参数配置已经选定。此时应该用数据集 $D$ 重新训练模型并提交给用户。
在之前的评估方法介绍中，我们将数据集划分为训练数据与测试集。并用测试数据来估计模型在实际使用时的泛化能力。因此，我们需要将训练数据划分为训练集与验证集(validation set)，基于验证集上的性能来进行模型选择和调参。（可以根据划分训练数据/测试数据的方法来划分训练集/验证集）。

数据集
训练数据		测试数据
训练集	验证集	测试集

性能度量

为了评估学习器的泛化性能，除了有效可行的实验估计方法，还需要衡量模型泛化能力的评价标准，即性能度量(performance measure)。
在预测任务中，给定样例集$D=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$,学习器的预测结果为$f(x)$。在回归模型中，最常用的性能度量为“均方误差”(mean squared error)
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2.$$
对于数据分布$\mathfrak{D}$和概率密度函数$p(.)$，均方误差可描述为
$$E(f;\mathfrak{D})={\int }_{x\sim \mathfrak{D}}(f(x)-y{)}^{2}p(x)dx.$$
接下来将介绍分类任务中常用的性能度量

错误率与精度

对于样例集$D$，分类错误率定义为
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i\ne y_i).$$
精度定义为
$$\begin{gathered} acc(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i=y_i) \\ =1-E(f;D) \end{gathered}$$
更一般地，对于数据分布$\mathfrak{D}$和概率密度函数$p(.)$，错误率和精度为
$$\begin{gathered} E(f;\mathfrak{D})={\int }_{x\sim \mathfrak{D}}\mathbb{I}(f(x)\ne y)p(x)dx, \\ acc(f;\mathfrak{D})={\int }_{x\sim \mathfrak{D}}\mathbb{I}(f(x)=y)p(x)dx. \end{gathered}$$

查准率与查全率

查准率(precision)用于衡量“检索出的信息中用户感兴趣的比例”
查全率(recall)用于衡量“用户感兴趣的信息被检索出来的比例”
考虑一个二分类的问题。假设用户感兴趣的信息为正例。因此，我们的学习器应当检索并向用户推荐正例。对于学习器而言，其预测结果可分为以下四类：

分类结果的混淆矩阵

真实情况	预测结果
	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

则查准率P与查全率R的定义为：
$$\begin{gathered} P=\frac{TP}{TP+FP}, \\ R=\frac{TP}{TP+FN}. \end{gathered}$$

查准率和查全率是一对矛盾的度量。当我们将所有的样本选中，则所有用户感兴趣的样本也都被选中了，但这样查准率就比较低。而若是只挑选那些非常有把握的样本，查准率会较高，然而选中的样本占用户感兴趣的样本总量的比例就会降低，查全率也低了。
通常，我们可以根据学习器的预测结果（比方说预测用户感兴趣的概率大小）按照由高到低的顺序进行排序。按此顺序逐个将样本作为正例进行预测。（比方说逐次将某个概率以上的样本预测为正例），并计算出当前的查全率、查准率。以查准率为纵轴，查全率为横轴作图，就得到查准率-查全率曲线，简称“P-R曲线”。并取查准率=查重率的点为平衡点。

查准率、查全率的性能度量

综合考率学习器查准率、查全率的性能度量有

• “平衡点”(break-Even Point， 简称BEP)。
  为查准率=查全率时的取值。若学习器A的BEP高于学习器B的，则认可学习器A优于学习器B。
• $F_1$度量
  $F_1$度量基于查准率与查全率的调和平均(harmony mean)定义的。$F_1$的取值范围为[0,1]，它的大小衡量了模型的稳定性，数值越大，说明模型的稳定性越好。
  $$\begin{gathered} \frac{1}{F_1}=\frac{1}{2}\cdot \left(\frac{1}{P}+\frac{1}{R}\right) \\ {F}_1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN} \end{gathered}$$
• $F_{\beta }$度量
  当我们对查全率和查准率的重视程度有所不同时，我们采用$F_{\beta }$表达对查全率/查准率的偏好
  $$\begin{gathered} \frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}\cdot \left(\frac{1}{P}+\frac{{\beta }^2}{R}\right) \\ {F}_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R} \end{gathered}$$
  其中$\beta >0$度量了查全率对查准率的相对重要性。 $\beta >1$时查全率有更大影响，$\beta <1$时查准率有更大影响。
  与算术平均$\left(\frac{P+R}{2}\right)$和几何平均$(\sqrt{P\times R})$相比，调和平均更重视较小值。

当我们有多个二分类混淆矩阵时，可以有如下思路综合考察查准率与查重率

1. 先计算各混淆矩阵的查准率与查全率，再综合计算
   计算各混淆矩阵的查准率和查全率$(P_1,R_1),(P_2,R_2),...,(P_n,R_n)$，再计算平均值。得到“宏查准率”(macro-P)、“宏查全率”(macro-R)、“宏$F_1$”(macro-$F_1$):
   $$\begin{gathered} macro-P=\frac{1}{n}\sum _{i=1}^n{P}_i, \\ macro-R=\frac{1}{n}\sum _{i=1}^n{R}_i, \\ macro-F_1=\frac{2\times macro-P\times macro-R}{macro-P+macro-R}. \end{gathered}$$
2. 先对各混淆矩阵的对应元素进行平均，再基于平均值计算
   计算出各元素的平均值$\overline{TP}、\overline{FP}、\overline{TN}、\overline{FN}$，再基于这些平均值计算出“微查准率”(micro-P)、“微查全率”(micro-R)和“微$F_1$”(micro-$F_1$)：
   $$\begin{gathered} micro-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}, \\ micro-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}, \\ micro-F_1=\frac{2\times micro-P\times mairo-R}{micro-P+micro-R}. \end{gathered}$$

ROC与AUC

通常，我们根据学习器的预测结果（比方说预测用户感兴趣的概率大小）按照由高到低的顺序进行排序。并在这个排序中选取一个“截断点”(cut point)将1样本分为两部分。前一部分判定为正例，后一部分判定为反例。
我们可以根据任务需求来采用不同截断点。若我们更重视“查准率”，则可以选择排序靠前的位置进行截断。反之则选择排序靠后的。因此，排序质量的好坏体现了学习器在“一般情况下”泛化性能的好坏。ROC(Receiver Operating Characteristic， “受试者工作特征”)曲线就是从排序质量的角度出发研究学习器泛化性能的工具。
ROC曲线根据学习器的预测结果进行排序，并逐个把样本作为正例进行预测。每次计算“真正利率”(True Positive Rate, TPR)与“假正例率”(False Positive Rate, FPR)
$$\begin{gathered} TPR=\frac{TP}{TP+FN} \\ FPR=\frac{FP}{TN+FP} \end{gathered}$$
以TPR值为纵轴，FPR值为横轴，作出POC曲线

显然，此图中对角线对应“随即猜测”模型，而点（0，1）对应于将所有正例排在所有反例之前的“理想模型”。
现实中我们使用有限个测试样例绘制POC图。若给定$m^{+}$个正例和$m^{-}$个反例，根据学习器预测值进行排序。先将分类阈值设为最大，此时TPR和FPR都为0（TP和FP为0），在坐标(0,0)处标记一个点。随后依次将分类阈值设为每个样例的预测值，使其判断为正例。设前一个标记点坐标为$(x,y)$，若当前为真正例，则对应标记点坐标为$(x,y+\frac{1}{m^{+}})$；反之为$(x+\frac{1}{m^{-}},y)$。然后用线段连接相邻点。效果如下图

衡量学习器泛化能力的一个比较合理的判据是POC曲线下的面积，即AUC(Area Under POC Curve)。若设POC曲线由坐标为$\left\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\right\}$的点按序连接而成，则有
$$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)\cdot (y_i+y_{i+1})$$
由于AUC考虑的是样本预测的排序质量，因此与排序误差有较强的联系。给定$m^{+}$和$m^{-}$个正例和反例，令$D^{+}$和$D^{-}$表示正、反例集合，则排序“损失”(loss)定义为
$${\iota }_{rank}=\frac{1}{m^{+}{m}^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}}\left(\mathbb{I}(f(x^{+})<f(x^{-}))+\frac{1}{2}\mathbb{I}(f(x^{+})=f(x^{-}))\right)$$
容易看出$AUC=1-{\iota }_{rank}$

代价敏感错误率与代价曲线

在现实任务中常会遇到这种情况：不同类型的错误造成的后果不同。如医院错将健康人误诊为病人，或将患者误诊为健康人。然而，这两种错误的代价并不一致。前者增加了进一步检查的麻烦，后者则可能造成患者错过治疗的最佳时期。为了权衡不同类型错误造成的损失，可以为错误赋予“非均等代价”(unequal cost)。
以二分类任务为例，可以根据任务设定一个代价矩阵。其中$cos{t}_{ij}$表示将第i类样本预测为第j类样本的代价。一般来说$cos{t}_{ii}=0$。错判的代价越大，则$cos{t}_{ij}$也越大。通过代价的比值来衡量不同错判的损失程度相差。（一般情况下，重要的是比值而非绝对值。如$$cos{t}_{01}:cos{t}_{10}=5:1$与$50:10$的效果相同）。

二分类的代价矩阵

真实类别	预测类别
	第0类	第1类
第0类	0	cost01
第1类	cost10	0

在非均等条件下，我们希望最小化“总体代价”(total cost)。若将第0类作为正例，第1类作为反例。令$D^{+}$和$D^{-}$作为正例子集和反例子集，则“代价敏感”(cost-sensitive)错误率为
$$E(f;D;cost)=\frac{1}{m}\left(\sum _{x_i\in D^{+}}\mathbb{I}(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}\mathbb{I}(f(x_i)\ne y_i)\times cos{t}_{10}\right).$$
也可类似地定义多任务的代价敏感性能度量。
在非均等条件下，我们通过“代价曲线”(cost curve)反映学习器的期望总体代价。代价曲线图的横轴为取值为[0,1]的正例概率代价：
$$P(+)cost=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
其中$p$是样例为正例的概率，纵轴是取值为[0,1]的正例概率代价。则归一化代价为
$$cos{t}_{norm}=\frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
其中$FPR$为假正例率，$FNR=1-FPR$为假反例率。$cos{t}_{norm}$曲线下围成的面积即为学习器的期望总体代价。

比较检验

对于学习器之间的比较而言，我们希望比较其泛化性能，然而通过实验评估的方法我们获得的是测试集上的性能。二者的比对结果可能未必相同。
这种情况下，统计假设检验(hypothesis test)为我们进行学习器性能比较提供了重要依据。为了便于讨论，采取错误率为性能度量，用$ϵ$表示。

假设检验

在现实任务中，我们无法直接获知学习器的泛化错误率，只能获知其测试错误率$\widehat{ϵ}$。对于一个学习器而言，泛化错误率表示学习器在一个样本上犯错的概率为$ϵ$，测试错误率$\widehat{ϵ}$表示在$m$个样本中恰有$\widehat{ϵ}\times m$个被误分类。假定测试样本是从样本总体分布中独立采样而得，则泛化错误率为$ϵ$的学习器将其中$m^{\prime }$个样本误分类、其余样本全部分类正确的概率为$\left(\genfrac{}{}{0ex}{}{m}{m^{\prime }}\right){ϵ}^{m^{\prime }}(1-ϵ{)}^{m-m^{\prime }}$。则该学习器恰将$\widehat{ϵ}\times m$个样本误分类的概率为
$$P(\widehat{ϵ};ϵ)=\left(\genfrac{}{}{0ex}{}{m}{\widehat{ϵ}\times m}\right){ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\widehat{ϵ}\times m}$$
对于给定$\widehat{ϵ}$，可解$\partial P(\widehat{ϵ};ϵ)/\partial ϵ=0$可得$P(\widehat{ϵ};ϵ)$在$ϵ=\widehat{ϵ}$处取得最大值，符合二项分布。那么对于泛化错误率，我们考虑假设$“ϵ\le {ϵ}_0”$，则在$1-\alpha$的概率内能观测到的最大错误率为
$$\overline{ϵ}=minϵs.t.\sum _{i={ϵ}_0\times m+1}^m\left(\genfrac{}{}{0ex}{}{m}{i}\right){ϵ}^i(1-ϵ{)}^{m-i}<\alpha$$
此处的$1-\alpha$反映了结论的“置信度”(confidence)。此时若测试错误率$\widehat{ϵ}$小于临界值$\overline{ϵ}$，则根据二项检验可以得出结论：在$\alpha$的显著度下，假设$“ϵ\le {ϵ}_0”$不能被拒绝，则能以$1-\alpha$的置信度认为，学习器泛化错误率不大于${ϵ}_0$；否则该假设可被拒绝，即在$\alpha$的显著度下认为学习器的泛化错误率大于${ϵ}_0$。
对于多次训练/测试得到的多个错误率${\widehat{ϵ}}_1,{\widehat{ϵ}}_2,...,{\widehat{ϵ}}_n$，可以使用”t检验“(t-test)。可以得到平均测试错误率$\mu$和方差${\sigma }^2$为
$$\begin{gathered} \mu =\frac{1}{n}\sum _{i=1}^n{\widehat{ϵ}}_i, \\ {\sigma }^2=\frac{1}{n-1}\sum _{i=1}^n({\widehat{ϵ}}_i-\mu {)}^2. \end{gathered}$$
考虑到这$n$个测试错误率可以看作泛化错误率${ϵ}_0$的独立采样，则变量
$${\tau }_t=\frac{\sqrt{k}(\mu -{ϵ}_0)}{\sigma }$$

服从自由度为$k-1$的$t$分布。此时对于假设$“\mu ={ϵ}_0”$和显著度$\alpha$，考虑双边(two-tailed)假设，这里两边阴影各有$\alpha /2$的面积；若令阴影部分分别为$(-\infty ,t_{-\alpha /2}],[t_{\alpha /2},\infty )$，则${\tau }_t$位于临界范围$[t_{-\alpha /2},t_{\alpha /2}]$内，则不能拒绝假设。下表为一些常用临界值。

双边t检验的常用临界值

α	k
	2	5	10	20	30
0.05	12.706	2.776	2.262	2.093	2.045
0.10	6.314	2.132	1.833	1.729	1.699

交叉验证t检验

对两个学习器A和B，我们使用k折交叉验证法得到测试错误率分别为${ϵ}_1^A,{ϵ}_2^A,...,{ϵ}_k^A$和${ϵ}_1^B,{ϵ}_2^B,...,{ϵ}_k^B$。使用k折交叉验证“成对t检验”(paired t-tests)来进行比较检验。该检验的基本思想为若两个学习器相同，则它们使用相同的训练/测试集得到的测试错误率也应相同，即${ϵ}_i^A={ϵ}_i^B$。
计算方法为先对每队结果求差${\Delta }_i={ϵ}_i^A-{ϵ}_i^B$。并计算出差值的均值$\mu$和方差${\sigma }^2$，在显著度$\alpha$下，若变量
$${\tau }_t=\left|\frac{\sqrt{k}\mu }{\sigma }\right|$$
小于临界值$t_{\alpha /2,k-1}$，则不拒绝假设，认为两个学习器没有显著差别。反之拒绝假设，认为平均错误率较小的学习器较优。这里的$t_{\alpha /2,k-1}$是自由度为$k-1$的$t$分布上尾部积累分布为$\alpha /2$的临界值。
为了进行有效的假设检验，需要测试错误率均为泛化错误率的独立采样。通常情况下由于样本量有限，在使用交叉验证等实验估计方法时，不同伦茨的训练集会有一定程度的重叠，使得错误率彼此不独立，会导致高估假设成立的概率。为了缓解这一问题，可以采用“$5\times 2$交叉验证法”。
$5\times 2$交叉验证法即做5次2折交叉验证，每次2折交叉验证前将随机将数据打乱，使得5次交叉验证中的数据划分不重复。对于学习器A和B，第$i$次2折交叉验证会产生两对测试错误率。对其分别求差得第1折和第2折的差值${\Delta }_i^1，{\Delta }_i^2$。为了缓解测试错误率的非独立性，仅计算第1次2折交叉验证的结果的平均值$\mu =0.5({\Delta }_1^1+{\Delta }_1^2)$，但对每次2折实验结果都计算出方差
$${\sigma }^2={\left({\Delta }_i^1-\frac{{\Delta }_i^1+{\Delta }_i^2}{2}\right)}^2+{\left({\Delta }_i^2-\frac{{\Delta }_i^1+{\Delta }_i^2}{2}\right)}^2$$
变量
$${\tau }_t=\frac{\mu }{\sqrt{0.2{\sum }_{i=1}^5{\sigma }_i^2}}$$
服从自由度为4的t分布，其双边检验的临界值$t_{\alpha /2,5}$当$\alpha$ = 0.05时为2.776，$\alpha$ = 0.1时为2.132。

McNemar检验

对二分类问题，使用留出法可以列出两学习器分类结果的差别

两学习器分类差别列联表

算法B	算法A
	正确	错误
正确	e00	e01
错误	e10	e11

若假设两学习器性能相同，应有$e_{01}=e_{10}$，则变量$|e_{01}-e_{10}|$应当服从正态分布。McNemar检验考虑变量
$${\tau }_{{\chi }^2}=\frac{(|e_{01}-e_{10}|-1{)}^2}{e_{01}+e_{10}}$$
服从自由度为1的${\chi }^2$分布，即标准正态分布变量的平方。对于给定显著度$\alpha$，当以上变量值小于临界值${\chi }_{\alpha }^2$时，不能拒绝假设。否则拒绝假设，认为二者性能有显著差别，且平均错误率小的学习器性能较优。自由度为1的${\chi }^2$检验的临界值当$\alpha$=0.05时为3.8415，$\alpha$=0.1时为2.7055。

Friedman检验与Nemenyi后续检验

当有多个算法参与比较时，我们采用基于算法排序的Friedman检验。先根据留出法或交叉验证法对每个数据集上的性能进行测试并依次排序（1、2、3…）。如果性能相同则取平均值。假定我们在$N$个数据集上比较$k$个算法，令$r_i$表示第$i$个算法的平均序值，则$r_i$的均值和方差分别为$(k+1)/2$和$(k^2-1)/12N$。变量
$$\begin{gathered} {\tau }_{{\chi }^2}=\frac{k-1}{k}\cdot \frac{12N}{k^2-1}\sum _{i=1}^k{\left(r_i-\frac{k+1}{2}\right)}^2 \\ =\frac{12N}{k(k+1)}\left(\sum _{i=1}^k{r}_i^2-\frac{k(k+1{)}^2}{4}\right) \\ {\tau }_F=\frac{(N-1){\tau }_{{\chi }^2}}{N(k-1)-{\tau }_{{\chi }^2}} \end{gathered}$$
${\tau }_F$服从自由度为$k-1$和$(k-1)(N-1)$的$F$分布。
若“所有算法性能相同”的假设被拒绝，则说明算法性能显著不同。此次需要“后续检验”(post-hoc test)来进一步区分各算法。如Nemenyi后续检验，其平均序值差别的临界区域为
$$CD=q_{\alpha }\sqrt{\frac{k(k+1)}{6N}}$$
若两算法的平均序值之差超过了临界值域$CD$，则拒绝“两算法性能相同”的假设。

偏差与方差

对测试样本$x$，令$y_D$为$x$在数据集中的标记，$y$为$x$的真实标记，$f(x;D)$为训练集$D$上学得模型$f$在$x$上的预测输出。
以回归方程为例，学习算法的期望预测为
$$\bar{f}(x)={\mathbb{E}}_D[f(x;D)]$$
使用样本数相同的不同训练集产生的方差为
$$var(x)={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)\right)}^2\right]$$
噪声为
$${\epsilon }^2={\mathbb{E}}_D\left[(y_D-y{)}^2\right]$$
期望输出与真实标记的差别称为偏差(bias)，即
$$bia{s}^2(x)={\left(\bar{f}(x)-y\right)}^2$$
为了便于讨论，假定噪声期望为零，即${\mathbb{E}}_D[y_D-y]=0$。通过·简单多项式展开合并，可以对算法的期望泛化误差进行分解：
$$\begin{array}{rl}E(f;D)& ={\mathbb{E}}_D\left[{\left(f(x;D)-y_D\right)}^2\right]\\ & ={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)+\bar{f}(x)-y_D\right)}^2\right]\\ & ={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)\right)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(x)-y_D\right)}^2\right]\\ & +{\mathbb{E}}_D\left[2\left(f(x;D)-\bar{f}(x)\right)\left(\bar{f}(x)-y_D\right)\right]\\ & ={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)\right)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(x)-y_D\right)}^2\right]\\ & ={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)\right)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(x)-y+y-y_D\right)}^2\right]\\ & ={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)\right)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(x)-y\right)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(x)-y\right)}^2\right]\\ & +2{\mathbb{E}}_D\left[\left(\bar{f}(x)-y\right)(y-y_D)\right]\\ & ={\mathbb{E}}_D\left[{\left(f(x;D)-\bar{f}(x)\right)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(x)-y\right)}^2\right]+{\mathbb{E}}_D\left[{\left(y_D-y\right)}^2\right]\end{array}$$
即
$$\mathbb{E}(f;D)=bia{s}^2(x)+var(x)+{\epsilon }^2$$
即泛化误差可以分解为偏差、方差与噪声之和。其中偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习任务本身的难度。
一般来说，偏差和方差是有冲突的。这被称为偏差-方差窘境(bias-variance dilemma)。对于一个学习任务，在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率。训练程度较深时，拟合能力加强，训练数据的扰动能被学习器学到，则方差开始主导了泛化错误率。若训练数据自身的、非全局的特性被学习器学到了，则会发生过拟合现象。

---

1. 需要注意，这里假设训练集中的输出$y_D$为真实输出，不包含噪声。 ↩︎