周志华《机器学习》(西瓜书) —— 学习笔记：第2章 模型评估与选择

---

2.1 经验误差和过拟合

错误率（error rate）：分类错误的样本数占样本总数的比例，即如果在 $m$ 个样本中有 $a$ 个样本分类错误，则错误率 $E=a/m$
精度（accuracy）： $1-a/m$ ，即“精度=1-错误率”，精度常写为百分比的形式 $(1-\frac{a}{m})\times 100\%$
误差（error）：学习器的实际预测输出与样本的真实输出之间的差异
训练误差（training error）/ 经验误差（empirical error）：学习器在训练集上的误差
泛化误差（generalization error）：在新样本上的误差
过拟合（overfitting）：学习器把训练样本学得“太好”，把训练样本自身的一些特点当作所有潜在样本都具有的一般性质，导致泛化性能下降，这种现象在机器学习中称为“过拟合”
欠拟合（underfitting）：对训练样本的一般性质尚未学好

过拟合是机器学习面临的关键障碍，各类学习算法都必然带有一些针对过拟合的措施。过拟合是无法彻底避免的，只能“缓解”或者减小其风险。

---

2.2评估方法

  通常，我们使用一个“测试集”（testing set）来测试学习器对新样本的判别能力，以测试集上的“测试误差”（testing error）作为泛化误差的近似。我们假设测试样本也是从样本真实分布中独立同分布采样而得。要注意测试集应该尽可能与训练集互斥，即测试样本尽量不在训练集中出现、未在训练过程中使用过，否则将得到过于“乐观”的估计结果。

  对于一个包含 $m$ 个样例的数据集 $D=\{\left({\mathbf{x}}_1,y_1\right),\left({\mathbf{x}}_2,y_2\right),\dots ,\left({\mathbf{x}}_m,y_m\right)\}$ ，通过对 $D$ 进行适当的处理，从中产生出训练集 $S$ 和测试集 $T$ 。下面介绍几种常见的做法。

2.2.1 留出法

  “留出法”直接将数据集 $D$ 划分为两个互斥的集合，其中一个集合作为训练集 $S$ ，另一个作为测试集 $T$ ，即 $D=S\cup T$ ， $S\cap T=\varnothing$ 。在 $S$ 上训练出模型后，用 $T$ 来评估其测试误差，作为对泛化误差的估计。

  注意一：训练/测试集的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。使用“分层采样”（stratified sampling）（保留类别比例的采样方式）。
  注意二：单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。

  通常将大约 $2/3\sim 4/5$ 的样本用于训练，剩余样本用于测试。

2.2.2 交叉验证法

  “交叉验证法”（cross validation）先将数据集 $D$ 划分为 $k$ 个大小相似的互斥子集，即 $D=D_1\cup D_2\cup \dots \cup D_k,D_i\cap D_j=\varnothing (i\ne j)$ ，每个子集 $D_i$ 尽可能保持数据分布的一致性（即从 $D$ 中分层采样得到），每次使用 $k-1$ 个子集的并集作为训练集，余下的那个子集作为测试集。这样可获得 $k$ 组训练/测试集，从而进行 $k$ 次训练和测试，最终返回的是这 $k$ 个测试结果的均值。

  交叉验证法评估结果的稳定性和保真性在很大程度上取决于 $k$ 的取值，通常把交叉验证法称为“$k$ 折交叉验证”（$k$-fold cross validation）。 $k$ 最常用的取值是 10 ，此时称为 10 折交叉验证，其他常用值还有 5 、 20 等。

  为减小因样本划分不同而引入的差别， $k$ 折交叉验证通常要随机使用不同的划分重复 $p$ 次，最终评估结果是这 $p$ 次 $k$ 折交叉验证结果的均值，如常见的“10 次 10 折交叉验证”（“10 次 10 折交又验证法”与“100 次留出法”都是进行了 100 次训练/测试）。

  “留一法（Leave-One-Out，简称LOO）”：交叉验证法的特例，数据集 $D$ 中包含 $m$ 个样本，同时令 $k=m$。留一法不受随机样本划分方式的影响，因为 $m$ 个样本只有唯一的方式划分为 $m$ 个子集——每个子集包含一个样本，使用的训练集与初始数据集相比只少了一个样本。在绝大多数情况下，留一法中被实际评估的模型与期望评估的用 $D$ 训练出的模型很相似，评估结果往往被认为比较准确。缺陷是在数据集比较大时，训练 $m$ 个模型的计算开销可能是难以忍受的。

2.2.3 自助法

  “自助法”（bootstrapping），亦称“可重复采样”或“有放回采样”，直接以自助采样法（bootstrap sampling）为基础。给定包含 $m$ 个样本的数据集 $D$ ，每次随机从 $D$ 中挑选一个样本，将其拷贝放入 $D^{\prime }$ ，然后将该样本放回初始数据集 $D$ 中，该样本在下次采样时仍有可能被采到。这个过程重复执行 $m$ 次，可得到包含 $m$ 个样本的数据集 $D^{\prime }$ ，这就是自助采样的结果。 $D$ 中有一部分样本会在 $D^{\prime }$ 中多次出现，另一部分样本不出现。可以估计，样本在 $m$ 次采样中始终不被采到的概率是 ${\left(1-\frac{1}{m}\right)}^m$ ，取极限得到

$$\underset{m\to \infty }{\lim }{\left(1-\frac{1}{m}\right)}^m\mapsto \frac{1}{e}\approx 0.368\text{\hspace{1em}(2.1)}$$

即通过自助采样，初始数据集 $D$ 中约有 $36.8$ 的样本未出现在采样数据集 $D^{\prime }$ 中。我们可将 $D^{\prime }$ 用作训练集，$D\backslash D^{\prime }$ 用作测试集。这样，实际评估的模型与期望评估的模型都使用 $m$ 个训练样本，还有占数据总量约 1/3 的、没在训练集中出现的样本用于测试。这样的测试结果亦称“包外估计”（out-of-bag-estimate）。

  自助法在数据集较小、难以有效划分训练/测试集时很有用；自助法能从初始数据集中产生多个不同的训练集，这对集成学习等方法有很大的好处。然而，自助法产生的数据集改变了初始数据集的分布，这会引入估计偏差。因此，在初始数据量足够时，留出法和交叉验证法更常用一些。

2.2.4 调参与最终模型

  在进行模型评估与选择时，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的“参数调节”或简称“调参”（parameter tuning）。

  现实中常用的做法，是对每个参数选定一个范围和变化步长，例如在 $[0,0.2]$ 范围内以 $0.05$ 为步长，则实际要评估的候选参数值有 $5$ 个，最终是从这 $5$ 个候选值中产生选定值。这样选定的参数值往往不是“最佳”值，但这是在计算开销和性能估计之间进行折中的结果。通过这个折中，使学习过程变得可行。在不少应用任务中，参数调得好不好往往对最终模型性能有关键性影响。

  在模型评估与选择过程中需要留出部分数据进行评估测试，我们事实上只使用了一部分数据训练模型。因此，在模型选择完成后，学习算法和参数配置已选定，我们应该用完整的数据集重新训练模型。这个模型在训练过程中使用了所有的样本，这才是我们最终提交给用户的模型。

  另外，我们通常把学得模型在实际使用中遇到的数据称为测试数据，而在模型评估与选择中用于评估测试的数据集常称为“验证集”（validation set）。例如，在研究对比不同算法的泛化性能时，我们用测试集上的判别效果来估计模型在实际使用时的泛化能力，而把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参。

---

2.3 性能度量

  “性能度量”（performance measure）是衡量模型泛化能力的评价标准。性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的“好坏”是相对的，它不仅取决于算法和数据，还取决于任务需求。

  在预测任务中，给定样例集 $D=\left\{\left({\mathbf{x}}_1,y_1\right),\left({\mathbf{x}}_2,y_2\right),\dots ,\left({\mathbf{x}}_m,y_m\right)\right\}$ ，其中 $y_i$ 是示例 ${\mathbf{x}}_i$ 的真实标记。要评估学习器 $f$ 的性能，就要把学习器预测结果 $f(\mathbf{x})$ 与真实标记 $\mathbf{y}$ 进行比较。

  回归任务最常用的性能度量是“均方误差”（mean squared error）

$$E(f;D)=\frac{1}{m}\sum _{i=1}^m{\left(f\left({\mathbf{x}}_i\right)-y_i\right)}^2\text{\hspace{1em}(2.2)}$$

  更一般的，对于数据分布 $\mathcal{D}$ 和概率密度函数 $p(\cdot )$ ，均方误差可描述为

$$E(f;\mathcal{D})={\int }_{\mathbf{x}\sim \mathcal{D}}(f(\mathbf{x})-y{)}^{2}p(\mathbf{x})\mathrm{d}\mathbf{x}\text{\hspace{1em}(2.3)}$$

  以下主要介绍分类任务中常用的性能度量。

2.3.1 错误率与精度

  错误率和精度是分类任务中最常用的两种性能度量，既适用于二分类任务，也适用于多分类任务。错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。对样例集 $D$ ，分类错误率定义为

$$E(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}\left(f\left({\mathbf{x}}_i\right)\ne y_i\right)\text{\hspace{1em}(2.4)}$$

  精度则定义为

$$\begin{array}{rl}\mathrm{acc}(f;D)& =\frac{1}{m}\sum _{i=1}^m\mathbb{I}\left(f\left({\mathbf{x}}_i\right)=y_i\right)\\ & \\ & =1-E(f;D)\end{array}\text{\hspace{1em}(2.5)}$$

  更一般的，对于数据分布 $\mathcal{D}$ 和概率密度函数 $p(\cdot )$ ，错误率与精度可分别描述为

$$E(f;\mathcal{D})={\int }_{\mathbf{x}\sim \mathcal{D}}\mathbb{I}(f(\mathbf{x})\ne y)p(\mathbf{x})\mathrm{d}\mathbf{x}\text{\hspace{1em}(2.6)}$$

$$\begin{array}{rl}\mathrm{acc}(f;\mathcal{D})& ={\int }_{x\sim D}\mathbb{I}(f(\mathbf{x})=y)p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & \\ & =1-E(f;\mathcal{D})\end{array}\text{\hspace{1em}(2.7)}$$

2.3.2 查准率、查全率与 F1

  在信息检索中，我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”、“用户感兴趣的信息中有多少被检索出来了”，“查准率”（“准确率”）（precision）与“查全率”（“召回率”）（recall）是适用于此类需求的性能度量。

  对于二分类问题，将样例根据其真实类别与学习器预测类别的组合，划分为真正例（true positive）、假正例（false positive）、真反例（true negative）、假反例（false negative）四种情形，分别用 $TP、FP、TN、FN$ 表示其对应的样例数，则 $TP+FP+TN+FN$ = 样例总数 。分类结果的“混淆矩阵”（confusion matrix）如表 2.1 所示

  查准率 $P$ 与查全率 $R$ 分别定义为

$$P=\frac{TP}{TP+FP}\text{\hspace{1em}(2.8)}$$

$$R=\frac{TP}{TP+FN}\text{\hspace{1em}(2.9)}$$

  查准率和查全率是一对矛盾的度量。一般查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。例如，若希望将好瓜尽可能多地选出来，则可通过增加选瓜的数量来实现，如果将所有西瓜都选上，那么所有的好瓜也必然都被选上了，但这样查准率就会较低；若希望选出的瓜中好瓜比例尽可能高，则可只挑选最有把握的瓜，但这样就难免会漏掉不少好瓜，使得查全率较低。通常只有在一些简单任务中，才可能使查全率和查准率都很高。

  根据学习器的预测结果对样例进行排序，“最可能”是正例的样本排在前面，“最不可能”是正例的样本排在最后，按此顺序逐个把样本作为正例进行预测，每次计算出当前的查全率、查准率，以查准率为纵轴、查全率为横轴作图，就得到查准率-查全率曲线，简称“P-R 曲线”，显示该曲线的图称为“P-R 图”。

  若一个学习器的 P-R 曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者，例如图2.3中学习器 A 的性能优于学习器 C 。如果两个学习器的 P-R 曲线发生了交叉，例如图2.3中的 A 与 B ，则只能在具体的查准率或查全率条件下进行比较。如果仍希望把学习器 A 与 B 比出个高低，一个比较合理的判断依据是，比较 P-R 曲线下面积的大小，它在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。这个值不太容易估算，因此，人们设计了一些综合考虑查准率、查全率的性能度量。

  “平衡点”（Break-Event Point，简称 BEP）就是这样一个度量，它是“查准率=查全率”时的取值，例如图 2.3 中学习器 C 的 BEP 是0.64，而基于 BEP 的比较，可认为学习器 A 优于 B 。

  但 BEP 过于简化，更常用的是 $F1$ 度量：

$$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN}\text{\hspace{1em}(2.10)}$$
  在一些应用中，对查准率和查全率的重视程度有所不同。例如在商品推荐系统中，为了尽可能少打扰用户，更希望推荐内容的确是用户感兴趣的，此时查准率更重要；而在逃犯信息检索系统中，更希望尽可能少漏掉逃犯，此时查全率更重要。 $F1$ 度量的一般形式—— $F_{\beta }$ ，能让我们表达出对查准率/查全率的不同偏好，它定义为

$$F_{\beta }=\frac{\left(1+{\beta }^2\right)\times P\times R}{\left({\beta }^2\times P\right)+R}\text{\hspace{1em}(2.11)}$$

其中 $\beta >0$ 度量了查全率对查准率的相对重要性。 $\beta =1$ 时退化为标准的 $F1$ ； $\beta >1$ 时查全率有更大影响； $\beta <1$ 时查准率有更大影响。

  $F1$ 是基于查准率与查全率的调和平均定义的

$$\frac{1}{F1}=\frac{1}{2}\cdot \left(\frac{1}{P}+\frac{1}{R}\right)$$

  $F_{\beta }$ 则是加权调和平均

$$\frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}\cdot \left(\frac{1}{P}+\frac{{\beta }^2}{R}\right)$$
  很多时候我们有多个二分类混淆矩阵，我们希望在 $n$ 个二分类混淆矩阵上综合考察查准率和查全率。

  一种直接的做法是先在各混淆矩阵上分别计算出查准率和查全率，记为 $\left(P_1,R_1\right),\left(P_2,R_2\right),\dots ,\left(P_n,R_n\right)$ ，再计算平均值，这样就得到“宏查准率”（macro-$P$）、“宏查全率”（macro-$R$），以及相应的“宏 $F1$ ”（macro-$F1$）

$$\mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-P=\frac{1}{n}\sum _{i=1}^n{P}_i\text{\hspace{1em}(2.12)}$$

$$\mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-R=\frac{1}{n}\sum _{i=1}^n{R}_i\text{\hspace{1em}(2.13)}$$

$$\mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-F1=\frac{2\times \mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-P\times \mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-\mathrm{R}}{\mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-P+\mathrm{m}\mathrm{a}\mathrm{c}\mathrm{r}\mathrm{o}-R}\text{\hspace{1em}(2.14)}$$
  还可先将各混淆矩阵的对应元素进行平均，得到 $TP、FP、TN、FN$ 的平均值，分别记为 $\overline{TP}、\overline{FP}、\overline{TN}、\overline{FN}$ ，再基于这些平均值计算出“微查准率”（micro-$P$）、“微查全率”（micro-$R$）和“微 $F1$ ”（micro-$F1$）

$$\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}\text{\hspace{1em}(2.15)}$$

$$\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}\text{\hspace{1em}(2.16)}$$

$$\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-F1=\frac{2\times \mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-P\times \mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-R}{\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-P+\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{r}\mathrm{o}-R}\text{\hspace{1em}(2.17)}$$

2.3.3 ROC 与 AUC

  很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阀值（threshold）进行比较，若大于阈值则分为正类，否则为反类。例如，神经网络在一般情形下是对每个测试样本预测出一个 $[0.0,1.0]$ 之间的实值，然后将这个值与 0.5 进行比较，大于 0.5 则判为正例，否则为反例。这个实值或概率预测结果的好坏，直接决定了学习器的泛化能力。实际上，根据这个实值或概率预测结果，我们可将测试样本进行排序，“最可能”是正例的排在最前面，“最不可能”是正例的排在最后面。这样，分类过程就相当于在这个排序中以某个“截断点”（cut point）将样本分为两部分，前一部分判作正例，后一部分则判作反例。

  在不同的应用任务中，我们可根据任务需求来采用不同的截断点，例如若我们更重视“查准率”，则可选择排序中靠前的位置进行截断；若更重视“查全率”，则可选择靠后的位置进行截断。因此，排序本身的质量好坏，体现了综合考虑学习器在不同任务下的“期望泛化性能”的好坏，或者说，“一般情况下”泛化性能的好坏。ROC曲线则是从这个角度出发来研究学习器泛化性能的有力工具。

  ROC（Receiver Operating Characteristic）：全称“受试者工作特征”曲线，根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算“真正例率”和“假正例率”，分别以它们为横、纵坐标作图，就可得到“ ROC 曲线”。基于表 2.1 中的符号，两者分别定义为

$$\mathrm{T}\mathrm{P}\mathrm{R}=\frac{TP}{TP+FN}\text{\hspace{1em}(2.18)}$$

$$\mathrm{F}\mathrm{P}\mathrm{R}=\frac{FP}{TN+FP}\text{\hspace{1em}(2.19)}$$

  显示 ROC 曲线的图称为“ ROC 图”。图 2.4(a) 是一个示意图。对角线对应于“随机猜测”模型，点 $(0,1)$ 对应于将所有正例排在所有反例之前的“理想模型”。

  现实任务中通常用有限个测试样例绘制 ROC 图，仅能获得有限个 $(真正例率,假正例率)$ 坐标对，无法产生图 2.4(a) 中的光滑 ROC 曲线，只能绘制出如图 2.4(b) 所示的近似 ROC 曲线。

  绘图过程：给定 $m^{+}$ 个正例和 $m^{-}$ 个反例，根据学习器预测结果对样例进行排序，把分类阈值设为最大，即把所有样例均预测为反例，此时真正例率和假正例率均为 0 ，在坐标 $(0,0)$ 处标记一个点。然后将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例。设前一个标记点坐标为 $(x,y)$ ，当前若为真正例，则对应标记点的坐标为 $\left(x,y+\frac{1}{m^{+}}\right)$ ，当前若为假正例，则对应标记点的坐标为 $\left(x+\frac{1}{m^{-}},y\right)$ ，最后用线段连接相邻点即可。

  这里对周老师书中的内容做一点补充，当学习器对多个样例的预测结果相同时，书中并没有做确切说明如何处理。按照前面的绘图方法，若这些样例采用不同的具体方式排序，会画出不同的 ROC 路线。这时我们要这样处理：不论这些预测值相同的样例以何种方式排序，在按照前面的方法进行描点后，直接将前一个不同预测结果的点，与这组预测结果相同的点中的最后一个相连即可。例如，有 10 个样例预测结果相同，其中 6 个正例， 4 个反例。如图 2.5 ，我们用黑点表示这 10 个样例，用红点表示排在它们之前的那个样例。如果对这 10 个样例采用不同的方式排序，得到 ROC 路线是不同的。所以，连线时，我们跳过中间的黑点，直接将红点和最后一个黑点连接，具体情形如图 2.5 中的虚线。

  进行学习器比较时，若一个学习器的 ROC 曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。若两个学习器的 ROC 曲线发生交叉，则难以一般性地断言两者孰优孰劣。此时较为合理的判据是比较 ROC 曲线下的面积，即 AUC（Area Under ROC Curve） ，如图 2.4 所示。

  假定 ROC 曲线由坐标为 $\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\dots ,\left(x_m,y_m\right)\right\}$ 的点按序连接而成 $\left(x_1=0,x_m=1\right)$ ，如图 2.4(b) ，则 AUC 可估算为

$$\mathrm{A}\mathrm{U}\mathrm{C}=\frac{1}{2}\sum _{i=1}^{m-1}\left(x_{i+1}-x_i\right)\cdot \left(y_i+y_{i+1}\right)\text{\hspace{1em}(2.20)}$$

  AUC 考虑的是样本预测的排序质量，它与排序误差有紧密联系。给定 $m^{+}$ 个正例和 $m^{-}$ 个反例，令 $D^{+}$ 和 $D^{-}$ 分别表示正、反例集合，则排序“损失”定义为

$${\ell }_{\text{rank}}=\frac{1}{m^{+}{m}^{-}}\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\left(\mathbb{I}\left(f\left({\mathbf{x}}^{+}\right)<f\left({\mathbf{x}}^{-}\right)\right)+\frac{1}{2}\mathbb{I}\left(f\left({\mathbf{x}}^{+}\right)=f\left({\mathbf{x}}^{-}\right)\right)\right)\text{\hspace{1em}(2.21)}$$

即考虑每一对正、反例，若正例的预测值小于反例，则记一个“罚分”，若相等，则记 0.5 个“罚分”。容易看出 ${\ell }_{rank}$ 对应的是 ROC 曲线之上的面积：若一个正例在 ROC 曲线上对应标记点的坐标为 $(x,y)$ ，则 $x$ 恰是排序在其之前的反例所占的比例，即假正例率。因此有

$$\mathrm{A}\mathrm{U}\mathrm{C}=1-{\ell }_{\text{rank}}\text{\hspace{1em}(2.22)}$$


这里根据自己的思考与理解，对式(2.20)、式(2.21)、式(2.22)做一些说明：

  假设我们有 10 个样例， 5 个正例， 5 个反例，按其预测值进行排序得到如下一组结果（其中 ${\cdot }^{+}$ 为正例， ${\cdot }^{-}$ 为反例）：

$$(0.9^{+},0.8^{+},0.7^{-},0.5^{+},0.5^{-},0.5^{+},0.4^{-},0.3^{+},0.2^{-},0.1^{-})$$

  我们先绘制出这组样例的 ROC 曲线，并确定它们的 AUC ，如图 2.10

图中蓝色的点是这组样例对应的描点，橙色的曲线是绘制出的 ROC 曲线，曲线下方的面积，就是 AUC 。

  这里， 5 个正例将 $y$ 轴平均分成了 5 份， 5 个反例将 $x$ 轴平均分成了 5 份。图中的 AUC 值可由式 2.20 算出，不论是形如 A1、A3、A4、A5 的矩形面积（$y_i=y_{i+1}$），还是形如 A2 的梯形面积（$y_i\ne y_{i+1}$），都可用公式 $\frac{1}{2}(x_{i+1}-x_i)(y_i+y_{i+1})$ 求得。注意，这里的 $(x_i,y_i)$ 点不完全是每个样例对应的描点，而是在 ROC 曲线上的那部分样例的描点。

  接下来，我们具体理解下： ${\ell }_{\text{rank}}$ 对应的是 ROC 曲线之上的面积。

  显然，图 2.10 中每一小格的面积是 $\frac{1}{5}\cdot \frac{1}{5}$ 。实际上，若有 $m^{+}$ 个正例和 $m^{-}$ 个反例，它们会分别将 $y$ 轴和 $x$ 轴平均分成 $m^{+}$ 份和 $m^{-}$ 份，每一小格的面积是 $\frac{1}{m^{+}}\cdot \frac{1}{m^{-}}$ ，式(2.21)中的 $\frac{1}{m^{+}{m}^{-}}$ 就表示分割后每一小格的面积。

  再看 ${\sum }_{{\mathbf{x}}^{+}\in D^{+}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f\left({\mathbf{x}}^{+}\right)<f\left({\mathbf{x}}^{-}\right)\right)$ ，每出现一个反例， ROC 曲线都要出现向 $x$ 轴方向的弯折（或垂直 $y$ 轴，或与 $y$ 轴成一个角度），此时该段曲线上方的完整格子数，就是排在其后的预测值比它小的正例的个数，比如样例 $0.7^{-}$ ，预测值比它小的正例有 3 个，曲线段 2-3 上方的完整格子数也是 3 。所以， ${\sum }_{{\mathbf{x}}^{+}\in D^{+}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}\left(f\left({\mathbf{x}}^{+}\right)<f\left({\mathbf{x}}^{-}\right)\right)$ 表示的就是 ROC 曲线上方完整格子的个数。

  最后看 ${\sum }_{{\mathbf{x}}^{+}\in D^{+}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\frac{1}{2}\mathbb{I}\left(f\left({\mathbf{x}}^{+}\right)=f\left({\mathbf{x}}^{-}\right)\right)$ ，当有 $a$ 个正例和 $b$ 个反例预测值相同时，必然会在坐标轴上形成一个占据 $a\times b$ 个格子的矩形，这些样例对应的 ROC 曲线，是这个矩形的对角线。这个矩形有一半在 ROC 曲线之上，对应的“格子数”是 $\frac{1}{2}ab$ 。比如样例 $0.5^{+}$ 、 $0.5^{-}$ 、 $0.5^{+}$ ， 2 个正例和 1 个反例预测值相同，所形成的矩形在 ROC 曲线之上的部分对应的格子数是 $\frac{1}{2}\times 2\times 1=1$ ，如图 2.10 灰色部分所示。所以， ${\sum }_{{\mathbf{x}}^{+}\in D^{+}}{\sum }_{{\mathbf{x}}^{-}\in D^{-}}\frac{1}{2}\mathbb{I}\left(f\left({\mathbf{x}}^{+}\right)=f\left({\mathbf{x}}^{-}\right)\right)$ 表示的就是 ROC 曲线上方这种不完整格子累计起来的个数。

  ROC 曲线上方完整的格子数加上不完整的格子数，再乘以每个格子的面积，就是 ROC 曲线上方的总面积，这就是 ${\ell }_{\text{rank}}$ 对应的是 ROC 曲线之上的面积的原因。这点明确后，式(2.22) 自然就成立了。

2.3.4 代价敏感错误率与代价曲线

  为权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”（unequal cost）。以二分类任务为例，我们可根据任务的领域知识设定一个“代价矩阵”（cost matrix），如表 2.2 所示，其中 $cos{t}_{ij}$ 表示将第 $i$ 类样本预测为第 $j$ 类样本的代价。一般来说： $cos{t}_{ii}=0$ ；若将第 0 类判别为第 1 类所造成的损失更大，则 $cos{t}_{01}>cos{t}_{10}$ ；损失程度相差越大， $cos{t}_{01}$ 与 $cos{t}_{10}$ 值的差别越大。

  前面介绍的性能度量大都隐式地假设均等代价，例如式(2.4)所定义的错误率，是直接计算“错误次数”，并没有考虑不同错误会造成不同的后果。在非均等代价情况下，我们希望最小化“总体代价”（total cost）。若将表 2.2 中的第 0 类作为正类、第 1 类作为反类，令 $D^{+}$ 与 $D^{-}$ 分别代表样例集 $D$ 的正例子集和反例子集，则“代价敏感”（cost-sensitive）错误率为

$$\begin{array}{r}E(f;D;cost)=\frac{1}{m}\left(\sum _{{\mathbf{x}}_i\in D^{+}}\mathbb{I}\left(f\left({\mathbf{x}}_i\right)\ne y_i\right)\times {\mathrm{cost}}_{01}+\sum _{{\mathbf{x}}_i\in D^{-}}\mathbb{I}\left(f\left({\mathbf{x}}_i\right)\ne y_i\right)\times {\mathrm{cost}}_{10}\right)\end{array}\text{\hspace{1em}(2.23)}$$
  类似可给出基于分布定义的代价敏感错误率，及其他一些性能度量的代价敏感版本。若令 $cos{t}_{ij}$ 中的 $i$ 、 $j$ 取值不限于 0 、 1 ，则可定义出多分类任务的代价敏感性能度量。

  在非均等代价下，用“代价曲线”（cost curve）反映学习器的期望总体代价。代价曲线图的横轴是取值为 $[0,1]$ 的归一化正例概率代价

$$P(+)\mathrm{cost}=\frac{p\times cos{t}_{01}}{p\times {\mathrm{cost}}_{01}+(1-p)\times cos{t}_{10}}\text{\hspace{1em}(2.24)}$$

其中 $p$ 是样例为正例的概率；纵轴是取值为 $[0,1]$ 的归一化模型代价

$${\mathrm{cost}}_{norm}=\frac{\mathrm{F}\mathrm{N}\mathrm{R}\times p\times cos{t}_{01}+\mathrm{F}\mathrm{P}\mathrm{R}\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}\text{\hspace{1em}(2.25)}$$

其中 $\mathrm{F}\mathrm{P}\mathrm{R}$ 是式(2.19)定义的假正例率，$\mathrm{F}\mathrm{N}\mathrm{R}=1-\mathrm{T}\mathrm{P}\mathrm{R}$ 是假反例率。

  代价曲线的绘制：ROC 曲线上每一点对应代价平面上的一条线段，设 ROC 曲线上点的坐标为 $(\mathrm{T}\mathrm{P}\mathrm{R},\mathrm{F}\mathrm{P}\mathrm{R})$ ，则可相应计算出 $\mathrm{F}\mathrm{N}\mathrm{R}$ ，在代价平面上绘制一条从 $(0,\mathrm{F}\mathrm{P}\mathrm{R})$ 到 $(1,\mathrm{F}\mathrm{N}\mathrm{R})$ 的线段，线段下的面积即表示该条件下的期望总体代价；如此将 ROC 曲线上的每个点转化为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为在所有条件下学习器的期望总体代价，如图 2.5 所示

---

2.4 比较检验

  统计假设检验（hypothesis test）为我们进行学习器性能比较提供了重要依据。基于假设检验结果我们可推断出，若在测试集上观察到学习器 A 比 B 好，则 A 的泛化性能是否在统计意义上优于 B ，以及这个结论的把握有多大。下面我们先介绍两种最基本的假设检验，然后介绍几种常用的机器学习性能比较方法。为便于讨论，本节默认以错误率为性能度量，用 $ϵ$ 表示。

2.4.1 假设检验

  泛化错误率为 $ϵ$ 的学习器在一个样本上犯错的概率是 $ϵ$ 。测试错误率 $\widehat{ϵ}$ 意味着在 $m$ 个测试样本中有 $\widehat{ϵ}\times m$ 个被误分类。假定测试样本从样本总体分布中独立采样而得，泛化错误率为 $ϵ$ 的学习器将其中 $m^{\prime }$ 个样本误分类，其余样本正确分类的概率是 ${ϵ}^{m^{\prime }}(1-ϵ{)}^{m-m^{\prime }}$ 。恰将 $\widehat{ϵ}\times m$ 个样本误分类的概率如下式所示，这也表示在包含 $m$ 个样本的测试集上，泛化错误率为 $ϵ$ 的学习器被测得测试错误率为 $\widehat{ϵ}$ 的概率

$$P(\widehat{ϵ};ϵ)=\left(\begin{array}{c}m\\ \widehat{ϵ}\times m\end{array}\right){ϵ}^{\widehat{ϵ}\times m}(1-ϵ{)}^{m-\hat{e}\times m}\text{\hspace{1em}(2.26)}$$

上式解 $\partial P(\widehat{ϵ};ϵ)/\partial ϵ=0$ 可知， $P(\widehat{ϵ};ϵ)$ 在 $ϵ=\widehat{ϵ}$ 时最大， $|ϵ-\widehat{ϵ}|$ 增大时 $P(\widehat{ϵ};ϵ)$ 减小。这符合二项分布，如图2.6，若 $ϵ=0.3$ ，则 10 个样本中测得 3 个被误分类的概率最大。

  个人认为式(2.27)存在一些不太好理解的问题，所以这里补充一些自己的思考过程，以及对式(2.27)的理解，如有不对之处，欢迎大家指正。

  根据式(2.26)，计算出泛化错误率为 $ϵ=0.3$ 的学习器，对例中样本进行误分类时的误分类样本个数和误分类概率、累积误分类概率的对应关系，整理成下面的表格

误分类个数	误分类概率	累积概率
0	0.0282	0.0282
1	0.1211	0.1493
2	0.2335	0.3828
3	0.2668	0.6496
4	0.2001	0.8497
5	0.1029	0.9526
6	0.0368	0.9894
7	0.0090	0.9984
8	0.0015	0.9999
9	0.0001	1.0000
10	0.0000	1.0000

  从表格我们可以直观看到，误分类个数为 3 个，即测试错误率为 0.3 的概率值最大。

  同时，我们还能注意到，误分类个数达到 4 个、 5 个、 6 个时，累积概率分别是 0.8497 、 0.9526 、 0.9894 ，说明这个学习器有 15.03% 的可能分错 4 个以上的样本，有 4.74% 的可能分错 5 个以上的样本，有 1.06% 的可能分错 6 以上的样本。

  在假设检验里，如果我们把显著度定为 5%（即 0.05 ），那么发生概率小于 5% 的事件就属于小概率事件，根据小概率原理，“在一次试验中，小概率事件实际上是不可能发生的”，所以从假设检验的角度说，泛化错误率为 0.3 的学习器，在对 10 个样本进行测试分类的时候，不可能分错 5 个以上的样本。换句话说，如果测试发现这个学习器分错了 5 个以上的样本，那么这个学习器的泛化错误率就不可能是 0.3 。这时的泛化错误率应该是一个比 0.3 更大的数，因为泛化错误率比 0.3 小的学习器，分错 5 个以上样本的概率更低，所以泛化错误率小于 0.3 的学习器也不可能分错 5 个以上的样本。综合来说就是，泛化错误率小于等于 0.3 的学习器都不可能分错 5 个以上的样本。

  这个学习器分错 5 个以上的样本是小概率事件，分错 6 个、 7 个以上样本更是小概率事件。但这里面的最小值 5 比较关键，通过将分错样本个数与 5 进行比较，我们就能决定是否拒绝“学习器泛化错误率是 0.3 ”这件事：如果分错样本个数小于等于 5 ，我们就不拒绝它，学习器的泛化错误率还有可能是 0.3 ；如果大于 5 ，我们就拒绝它，学习器的泛化错误率肯定不是 0.3 了。 6 、7 等等没法帮我们做这样的判断。

  分错 5 个样本对应的测试错误率是 0.5 ，这个 0.5 就是临界值， 5% 是显著度，前面的结论可以描述为：在 5% 的显著度下，如果学习器的测试错误率小于等于 0.5 ，我们就不拒绝认为学习器的泛化错误率小于等于 0.3 ；如果学习器的测试错误率大于 0.5 ，我们就拒绝承认学习器的泛化错误率小于等于 0.3 ，或者说，学习器的泛化错误率要大于 0.3 。

  现在我们按照书中的设定，用 ${ϵ}_0$、$ϵ$、$\widehat{ϵ}$、$\overline{ϵ}$、$\alpha$ 分别代替泛化错误率假设值 0.3、泛化错误率、测试错误率、错误率临界值以及显著度 5% ，对 “$ϵ⩽{ϵ}_0$” 进行分析。假设在 $\alpha$ 显著度下，使 $ϵ⩽{ϵ}_0$ 成立的临界值 $\overline{ϵ}$ 已知，那么在学习器的泛化错误率的值等于 ${ϵ}_0$ 的情况下，学习器分错 $\overline{ϵ}\times m$ 个以上样例的概率和应该小于 $\alpha$ ，用公式表示就是

$$\sum _{i=\overline{ϵ}\times m+1}^m\left(\begin{array}{c}m\\ i\end{array}\right){{ϵ}_0}^i(1-{ϵ}_0{)}^{m-i}<\alpha$$

显然， $\overline{ϵ}$ 是以 $ϵ$ 为未知数的不等式

$$\sum _{i=ϵ\times m+1}^m\left(\begin{array}{c}m\\ i\end{array}\right){{ϵ}_0}^i(1-{ϵ}_0{)}^{m-i}<\alpha$$

的解集中的最小值，也即

$$\overline{ϵ}=\min ϵ\text{ s.t. }\sum _{i=ϵ\times m+1}^m\left(\begin{array}{c}m\\ i\end{array}\right){{ϵ}_0}^i(1-{ϵ}_0{)}^{m-i}<\alpha \text{\hspace{1em}(2.27*)}$$

这是我认为周老师想表达的式(2.27)意思，与原书公式有所不同。这里附上原式，如果我理解有误，欢迎大家指正。

$$\overline{ϵ}=\min ϵ\text{ s.t. }\sum _{i={ϵ}_0\times m+1}^m\left(\begin{array}{c}m\\ i\end{array}\right){ϵ}^i(1-ϵ{)}^{m-i}<\alpha \text{\hspace{1em}(2.27)}$$

  上面的 $\alpha$ 是“显著度”，对应图2.6的阴影部分的范围， $1-\alpha$ 反映了结论的“置信度”，对应图2.6中非阴影部分的范围。假设检验的原假设是 “$ϵ⩽{ϵ}_0$” ，最终求得的拒绝域是 $(\overline{ϵ},1]$。此时，若测试错误率 $\widehat{ϵ}$ 小于等于临界值 $\overline{ϵ}$ ，则在 $\alpha$ 的显著度下,假设“$ϵ⩽{ϵ}_0$”不能被拒绝，即能以 $1-\alpha$ 的置信度认为，学习器的泛化错误率不大于 ${ϵ}_0$ ；否则该假设可被拒绝，即在 $\alpha$ 的显著度下可认为学习器的泛化错误率大于 ${ϵ}_0$ 。

  当通过多次重复留出法或是交叉验证法等进行多次训练/测试时，我们会得到多个测试错误率，这时可使用“$t$ 检验”（$t$-test）。假定我们得到了 $k$ 个测试错误率， ${\widehat{ϵ}}_1,{\widehat{ϵ}}_2,\dots ,{\widehat{ϵ}}_k$ ，则平均测试错误率 $\mu$ 和样本方差 $S^2$ （原书这里写的是“方差 ${\sigma }^2$ ”，看公式实际上是“样本方差”，为了与总体方差区分，我将描述改为了“样本方差 $S^2$ ”）为

$$\mu =\frac{1}{k}\sum _{i=1}^k{\widehat{ϵ}}_i\text{\hspace{1em}(2.28)}$$

$$S^2=\frac{1}{k-1}\sum _{i=1}^k{\left({\widehat{ϵ}}_i-\mu \right)}^2\text{\hspace{1em}(2.29)}$$

  这 $k$ 个测试错误率可看作泛化错误率 ${ϵ}_0$ 的独立采样，则变量

$${\tau }_t=\frac{\sqrt{k}\left(\mu -{ϵ}_0\right)}{S}\text{\hspace{1em}(2.30)}$$

服从自由度为 $k-1$ 的 $t$ 分布，如图2.7所示

  对假设“$\mu ={ϵ}_0$”和显著度 $\alpha$ ，可计算出当测试错误率均值为 ${ϵ}_0$ 时，在 $1-\alpha$ 概率内能观测到的最大错误率，即临界值。这里考虑双边（two-tailed）假设，如图2.7所示，两边阴影部分各有 $a/2$ 的面积。假定阴影部分范围分别为 $\left[-\infty ,t_{-\alpha /2}\right]$ 和 $\left[t_{\alpha /2},\infty \right]$ 。若 ${\tau }_t$ 位于临界值范围 $\left(t_{-\alpha /2},t_{\alpha /2}\right)$ 内，则不能拒绝假设“$\mu ={ϵ}_0$”，即可认为泛化错误率为 ${ϵ}_0$ ，置信度为 $1-\alpha$ ；否则可拒绝该假设，即在该显著度下可认为泛化错误率与 ${ϵ}_0$ 有显著不同。 $\alpha$ 常用取值有 0.05 和 0.1 。表2.3给出了一些常用临界值。

  上面介绍的两种方法是对关于单个学习器泛化性能的假设进行检验，下面将介绍对不同学习器的性能进行比较的假设检验方法。

2.4.2 交叉验证 t 检验

  对两个学习器 A 和 B ，若我们使用 $k$ 折交叉验证法得到的测试错误率分别为 ${ϵ}_1^A,{ϵ}_2^A,\dots ,{ϵ}_k^A$ 和 ${ϵ}_1^B,{ϵ}_2^B,\dots ,{ϵ}_k^B$ ，其中 ${ϵ}_i^A$ 和 ${ϵ}_i^B$ 是在相同的第 $i$ 折训练/测试集上得到的结果，则可用 $k$ 折交叉验证“成对 $t$ 检验”（paired $t$-test）来进行比较检验。若两个学习器的性能相同，则它们使用相同的训练/测试集得到的测试错误率应该相同，即 ${ϵ}_i^A={ϵ}_i^B$ 。

  具体来说，对 $k$ 折交叉验证产生的 $k$ 对测试错误率：先对每对结果求差， ${\Delta }_i={ϵ}_i^A-{ϵ}_i^B$ ，若两个学习器性能相同，则差值均值应为零。因此，可根据差值 ${\Delta }_1,{\Delta }_2,\dots ,{\Delta }_k$ 来对“学习器 A 与 B 性能相同”这个假设做 $t$ 检验，计算出差值的均值 $\mu$ 和样本方差 $S^2$ （原书这里也是“方差 ${\sigma }^2$ ”），在显著度 $\alpha$ 下，若变量

$${\tau }_t=\left|\frac{\sqrt{k}\mu }{S}\right|\text{\hspace{1em}(2.31)}$$

小于临界值 $t_{\alpha /2,k-1}$ ，则假设不能被拒绝，即认为两个学习器的性能没有显著差别；否则可认为两个学习器的性能有显著差别，且平均错误率较小的那个学习器性能较优。这里 $t_{\alpha /2,k-1}$ 是自由度为 $k-1$ 的 $t$ 分布上尾部累积分布为 $\alpha /2$ 的临界值。

  欲进行有效的假设检验，一个重要前提是测试错误率均为泛化错误率的独立采样。然而，通常情况下由于样本有限，在使用交叉验证等实验估计方法时，不同轮次的训练集会有一定程度的重叠，这就使得测试错误率实际上并不独立，会导致过高估计假设成立的概率。为缓解这一问题，可采用“ 5 × 2 交叉验证”法。

  5 × 2 交叉验证是做 5 次 2 折交叉验证，在每次 2 折交叉验证之前随机将数据打乱，使得 5 次交叉验证中的数据划分不重复。对两个学习器 A 和 B ，第 $i$ 次 2 折交叉验证将产生两对测试错误率，我们对它们分别求差，得到第 1 折上的差值 ${\Delta }_i^1$ 和第 2 折上的差值 ${\Delta }_i^2$ 。为缓解测试错误率的非独立性，我们仅计算第 1 次 2 折交叉验证的两个结果的平均值 $\mu =0.5\left({\Delta }_1^1+{\Delta }_1^2\right)$ ，但对每次 2 折实验的结果都计算出其样本方差 $S_i^2={\left({\Delta }_i^1-\frac{{\Delta }_i^1+{\Delta }_i^2}{2}\right)}^2+{\left({\Delta }_i^2-\frac{{\Delta }_i^1+{\Delta }_i^2}{2}\right)}^2$ 变量（原书这里用的是“方差 ${\sigma }_i^2$ ”）

$${\tau }_t=\frac{\sqrt{5}\mu }{\sqrt{{\sum }_{i=1}^5{S}_i^2}}=\frac{\mu }{\sqrt{0.2{\sum }_{i=1}^5{S}_i^2}}\text{\hspace{1em}(2.32)}$$

服从自由度为 5 的 $t$ 分布，其双边检验的临界值 $t_{\alpha /2,5}$ 当 $\alpha =0.05$ 时为 2.5706 ， $\alpha =0.1$ 时为 2.0150 。

2.4.3 McNemar检验

  对二分类问题，使用留出法不仅可估计出学习器 A 和 B 的测试错误率，还可获得两学习器分类结果的差别，即两者都正确、都错误、一个正确另一个错误的样本数，如“列联表”（contingency table）2.4所示。

  若我们做的假设是两学习器性能相同，则应有 $e_{01}=e_{10}$ 。由于 $e_{01}+e_{10}$ 通常很小，由带连续性校正的 McNemar 检验公式（这里的解释与原书有所不同），有变量

$${\tau }_{{\chi }^2}=\frac{{\left(\left|e_{01}-e_{10}\right|-1\right)}^2}{e_{01}+e_{10}}\text{\hspace{1em}(2.33)}$$

服从自由度为 1 的 ${\chi }^2$ 分布，即标准正态分布变量的平方。给定显著度 $\alpha$ ，当以上变量值小于临界值 ${\chi }_{\alpha }^2$ 时，不能拒绝假设，即认为两学习器的性能没有显著差别；否则拒绝假设，即认为两者性能有显著差别，且平均错误率较小的那个学习器性能较优。自由度为 1 的 ${\chi }^2$ 检验的临界值当 $\alpha =0.05$ 时为 3.8415 ， $\alpha =0.1$ 时为 2.7055 。

2.4.4 Friedman 检验与 Nemenyi 后续检验

  交叉验证 $t$ 检验和 McNemar 检验都是在一个数据集上比较两个算法的性能，而在很多时候，我们会在一组数据集上对多个算法进行比较。这时，可以在每个数据集上分别列出两两比较的结果，在两两比较时使用前述方法；也可以用一种更为直接的方法，使用基于算法排序的 Friedman 检验。

  假定我们用 $D_1$、$D_2$、$D_3$ 和 $D_4$ 四个数据集对算法 $A$、$B$、$C$ 进行比较。首先，使用留出法或交叉验证法得到每个算法在每个数据集上的测试结果，然后在每个数据集上根据测试性能由好到坏排序，并赋予序值 1，2，…，若算法的测试性能相同，则平分序值。例如，在 $D_1$ 上，A 最好、B 其次、C 最差，在 $D_2$ 上，A 最好、B 与 C 性能相同，在 $D_3$ 上，A 最好、B 其次、C 最差，……，则可列出表 2.5，其中最后一行通过对每一列的序值求平均，得到平均序值。

  然后，使用 Friedman 检验来判断这些算法性能是否都相同，若相同，则它们的平均序值应当相同。假定我们在 $N$ 个数据集上比较 $k$ 个算法，令 $r_i$ 表示第 $i$ 个算法的平均序值，为简化讨论，暂不考虑平分序值的情况，则 $r_i$ 服从正态分布，其均值和方差分别为 $(k+1)/2$ 和 $(k^2-1)/12N$ 。变量

$$\begin{array}{rl}{\tau }_{{\chi }^2}& =\frac{k-1}{k}\cdot \frac{12N}{k^2-1}\sum _{i=1}^k{\left(r_i-\frac{k+1}{2}\right)}^2\\ & =\frac{12N}{k(k+1)}\left(\sum _{i=1}^k{r}_i^2-\frac{k(k+1{)}^2}{4}\right)\end{array}\text{\hspace{1em}(2.34)}$$

在 $k$ 和 $N$ 都较大时，服从自由度为 $k-1$ 的 ${\chi }^2$ 分布。

  这里对刚刚提到的均值和方差做一下简单的推导和说明，假设算法 $i$ 在数据集 $j$ 上的序值为 $R_{ji}$，则

$$\begin{array}{rl}E(r_i)& =\frac{{\sum }_{i=1}^k{r}_i}{k}\\ & =\frac{{\sum }_{i=1}^k\left(\frac{{\sum }_{j=1}^N{R}_{ji}}{N}\right)}{k}\\ & =\frac{{\sum }_{i=1}^k\left({\sum }_{j=1}^N{R}_{ji}\right)}{kN}\\ & =\frac{N{\sum }_{i=1}^{k}i}{kN}\\ & =\frac{N\frac{k(k+1)}{2}}{kN}\\ & =\frac{k+1}{2}\end{array}$$

$$\begin{array}{rl}D(r_i)& =D(\frac{{\sum }_{j=1}^N{R}_{ji}}{N})\\ & =\frac{1}{N^2}\sum _{j=1}^{N}D(R_{ji})\\ & =\frac{1}{N^2}N(\frac{1}{Nk}\sum _{j=1}^N(\sum _{i=1}^k(R_{ji}-\frac{k+1}{2}{)}^2))\\ & =\frac{1}{N^{2}k}\sum _{j=1}^N(\sum _{i=1}^k(R_{ji}^2+\frac{(k+1{)}^2}{4}-R_{ji}(k+1)))\\ & =\frac{1}{N^{2}k}(N\sum _{i=1}^k{i}^2+\frac{Nk(k+1{)}^2}{4}-N(k+1)\sum _{i=1}^{k}i)\\ & =\frac{1}{Nk}(\frac{k(k+1)(2k+1)}{6}+\frac{k(k+1{)}^2}{4}-\frac{k(k+1{)}^2}{2})\\ & =\frac{k^2-1}{12N}\end{array}$$

因为是排序，$R_{ji}$ 一定是 $1$ 到 $k$ 按某种顺序的排列，所以 ${\sum }_{i=1}^k{R}_{ji}={\sum }_{i=1}^{k}i$，${\sum }_{i=1}^k{R}_{ji}^2={\sum }_{i=1}^k{i}^2$。

  然而，上述这样的“原始 Friedman 检验”过于保守，现在通常使用变量

$${\tau }_F=\frac{(N-1){\tau }_{{\chi }^2}}{N(k-1)-{\tau }_{{\chi }^2}}\text{\hspace{1em}(2.35)}$$

其中 ${\tau }_{{\chi }^2}$ 由式(2.34)得到。 ${\tau }_F$ 服从自由度为 $k-1$ 和 $(k-1)(N-1)$ 的 $F$ 分布。表2.6给出了一些常用临界值。

  若“所有算法的性能相同”这个假设被拒绝，则说明算法的性能显著不同，这时需要进行“后续检验”（post-hoc test）进一步区分各算法。常用的有 Nemenyi 后续检验。

  Nemenyi 检验计算出平均序值差别的临界值域

$$CD=q_{\alpha }\sqrt{\frac{k(k+1)}{6N}}\text{\hspace{1em}(2.36)}$$

表2.7给出了 $\alpha =0.05$ 和 $0.1$ 时常用的 $q_{\alpha }$ 值。若两个算法的平均序值之差超出了临界值域 $CD$ ，则以相应的置信度拒绝“两个算法性能相同”这一假设。

以表2.5中的数据为例，先根据式(2.34)和(2.35)计算出 ${\tau }_F=24.429$ ，由表2.6可知，它大于 $\alpha =0.05$ 时的 $F$ 检验临界值 $5.143$ ，因此拒绝“所有算法性能相同”这个假设。然后使用 Nemenyi 后续检验，在表2.7中找到 $k=3$ 时 $q_{0.05}=2.344$ ，根据式(2.36)计算出临界值域 $CD=1.657$ ，由表2.5中的平均序值可知，算法 A 与 B 的差距，以及算法 B 与 C 的差距均未超过临界值域，而算法 A 与 C 的差距超过了临界值域，因此检验结果认为算法 A 与 C 的性能显著不同，而算法 A 与 B、以及算法 B 与 C 的性能没有显著差别。

  上述检验比较可以直观地用 Friedman 检验图显示。例如，根据表2.5的序值结果可绘制出图2.8，图中纵轴显示各个算法，横轴是平均序值。对每个算法，用一个圆点显示其平均序值，以圆点为中心的横线段表示临界值域的大小。然后就可从图中观察，若两个算法的横线段有交叠，则说明这两个算法没有显著差别，否则说明两个算法有显著差别。从图2.8容易看出，算法 A 与 B 没有显著差别，因为它们的横线段有交叠区域，而算法 A 显著优于算法 C，因为它们的横线段没有交叠区域。

---

2.5 偏差与方差

  除了通过实验估计泛化性能，人们往往还希望了解学习算法“为什么”具有这样的性能。“偏差-方差分解”（bias-variance decomposition）是解释学习算法泛化性能的一种重要工具。
  偏差-方差分解试图对学习算法的期望泛化错误率进行拆解。我们知道，算法在不同训练集上学得的结果很可能不同，即便这些训练集是来自同一个分布。对测试样本 $\mathbf{x}$ ，令 $y_D$ 为 $\mathbf{x}$ 在数据集中的标记， $y$ 为 $\mathbf{x}$ 的真实标记， $f(\mathbf{x};D)$ 为训练集 $D$ 上学得模型 $f$ 在 $\mathbf{x}$ 上的预测输出。以回归任务为例，学习算法的期望预测为

$$\bar{f}(\mathbf{x})={\mathbb{E}}_D[f(\mathbf{x};D)]\text{\hspace{1em}(2.37)}$$

使用样本数相同的不同训练集产生的方差为

$$\mathrm{var}(\mathbf{x})={\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}){)}^2\right]\text{\hspace{1em}(2.38)}$$

噪声为

$${\epsilon }^2={\mathbb{E}}_D\left[{\left(y_D-y\right)}^2\right]\text{\hspace{1em}(2.39)}$$

期望输出与真实标记的差别称为偏差（bias），即

$${\mathrm{bias}}^2(\mathbf{x})=(\bar{f}(\mathbf{x})-y{)}^2\text{\hspace{1em}(2.40)}$$

为便于讨论，假定噪声期望为零，即 ${\mathbb{E}}_D\left[y_D-y\right]=0$ 。通过简单的多项式展开合并，可对算法的期望泛化误差进行分解：

$$\begin{array}{rl}E(f;D)=& {\mathbb{E}}_D\left[{\left(f(\mathbf{x};D)-y_D\right)}^2\right]\\ =& {\mathbb{E}}_D\left[{\left(f(\mathbf{x};D)-\bar{f}(\mathbf{x})+\bar{f}(\mathbf{x})-y_D\right)}^2\right]\\ =& {\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}){)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(\mathbf{x})-y_D\right)}^2\right]\\ & +{\mathbb{E}}_D\left[2(f(\mathbf{x};D)-\bar{f}(\mathbf{x}))\left(\bar{f}(\mathbf{x})-y_D\right)\right]\\ =& {\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}){)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(\mathbf{x})-y_D\right)}^2\right]\\ =& {\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}){)}^2\right]+{\mathbb{E}}_D\left[{\left(\bar{f}(\mathbf{x})-y+y-y_D\right)}^2\right]\\ =& {\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}){)}^2\right]+{\mathbb{E}}_D\left[(\bar{f}(\mathbf{x})-y{)}^2\right]+{\mathbb{E}}_D\left[{\left(y-y_D\right)}^2\right]\\ & +2{\mathbb{E}}_D\left[(\bar{f}(\mathbf{x})-y)\left(y-y_D\right)\right]\\ =& {\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}){)}^2\right]+(\bar{f}(\mathbf{x})-y{)}^2+{\mathbb{E}}_D\left[{\left(y_D-y\right)}^2\right]\end{array}\text{\hspace{1em}(2.41)}$$

于是，

$$E(f;D)={\mathrm{bias}}^2(x)+\mathrm{var}(x)+{\epsilon }^2\text{\hspace{1em}(2.42)}$$

也就是说，泛化误差可分解为偏差、方差与噪声之和。

对式(2.41)的几点说明：

第三步到第四步

$$\begin{array}{rl}{\mathbb{E}}_D\left[2(f(\mathbf{x};D)-\bar{f}(\mathbf{x}))\left(\bar{f}(\mathbf{x})-y_D\right)\right]=& 2{\mathbb{E}}_D[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}))\cdot \bar{f}(\mathbf{x})]-2{\mathbb{E}}_D\left[(f(\mathbf{x};D)-\bar{f}(\mathbf{x}))\cdot y_D\right]\end{array}$$

$\bar{f}(\mathbf{x})$ 是常数， $f(\mathbf{x};D)$ 和 $y_D$ 相互独立，故

$$\begin{array}{rl}{\mathbb{E}}_D\left[2(f(\mathbf{x};D)-\bar{f}(\mathbf{x}))\left(\bar{f}(\mathbf{x})-y_D\right)\right]=& 2\bar{f}(\mathbf{x})\cdot [{\mathbb{E}}_D[f(\mathbf{x};D)]-\bar{f}(\mathbf{x})]-2{\mathbb{E}}_D[y_D]\cdot [{\mathbb{E}}_D[f(\mathbf{x};D)]-\bar{f}(\mathbf{x})]\end{array}$$

由式(2.37)， ${\mathbb{E}}_D[f(\mathbf{x};D)]-\bar{f}(\mathbf{x})=0$ ，故

$$\begin{array}{r}{\mathbb{E}}_D\left[2(f(\mathbf{x};D)-\bar{f}(\mathbf{x}))\left(\bar{f}(\mathbf{x})-y_D\right)\right]=0\end{array}$$

第六步到第七步

$\bar{f}(\mathbf{x})$ 、 $y$ 是常数，故

$$\begin{array}{r}{\mathbb{E}}_D\left[(\bar{f}(\mathbf{x})-y{)}^2\right]=(\bar{f}(\mathbf{x})-y{)}^2={\mathrm{bias}}^2(\mathbf{x})\end{array}$$

假定噪声期望为零，即 ${\mathbb{E}}_D\left[y_D-y\right]=0$ ，故

$$\begin{array}{r}2{\mathbb{E}}_D[(\bar{f}(\mathbf{x})-y)\left(y-y_D\right)\end{array}$$