西瓜书~至臻笔记（二）——模型评估与选择（可直接享用）

第二章 模型评估与选择

有问题可联系QQ：3020889729，微信：cjh3020889729

笔记中——模型等价于学习器，训练误差等价于经验误差！

2.1 经验误差与过拟合

错误率是指分类错误的样本数占样本总数的比例。

精度是指分类正确的样本数占样本总数的比例。

$eg$ ：$if$ 在 $m$ 个样本中，存在 $a$ 个样本分类错误，则：

• 错误率：
  $$E=\frac{a}{m},E\to means:error$$

• 精度：
  $$A=1-E=1-\frac{a}{m},A\to means:accuracy$$

更一般地，我们可以将分类错误这种差异大致分为：训练误差、泛化误差。

• 前者是学习器在训练集上的预测输出真实输出（标记/标签）的差异
• 后者是用于全新的数据上是所表现的差异。【泛化误差往往更重要】

单词笔记：

• $accuracy$ : 精度
• $error$ : 误差/错误——错误率: $errorrate$
• $empiricalerror$ : 经验误差
• $generalizationerror$ : 泛化误差

无论是错误率、精度还是各种误差，都是为了服务于我们寻找一个“最满意”的学习器（模型）。因此，我们需要一个表现良好的学习器，但是怎么样的学习器才算好呢？训练误差小？训练集上表现很好？

$No$，这还不够——我们通常期望的是——一个泛化误差小的学习器，即泛化能力强的学习器。因为这样的学习器能适应除训练集外的新预测环境，而不至于对于新样本一无所知，使学习器显得没有意义。

学习器的泛化误差大小怎么评估呢？常用的方法是将学习器应用于新样本上进行预测，再将预测结果与实际结果进行误差计算来评估的。这时我们就可能遇到两种截然不同的情况——过拟合、欠拟合。

• 过拟合：是指在训练集上的错误率比新样本上低、甚至低很多（也就是前者精度可能远高于后者）。
• 欠拟合：则是指在新样本上表现的结果已经比训练集上优异的，但是训练集上的误差还可以进一步优化。（即还可以继续让学习器从训练集中学习更多的信息/属性/特征）

在追求小泛化误差的学习器的路上，我们需要记住，过拟合是不可避免的，仅仅能通过有针对性的特定的办法来进行“缓解”，抑制过拟合程度。我们可以将过拟合不可避免问题简述为:
$$\begin{gathered} 既然无法实现P=NP,就尽可能使得P\ne NP的可能性降低 \\ P=NP,表示预测与真实情况一致， \\ p\ne NP,表示预测与真实情况不一致。 \end{gathered}$$
在现实生活中，往往很难找到最理想的模型（学习器），因为模型的学习能力、过拟合程度受到模型算法以及数据内涵所决定，因此我们只能多不同参数的模型进行选择——模型选择，是我们获得满意的学习器所不可或缺的。【通常，我们通过对不同参数的模型，或者不同模型的进行泛化误差的评定，选择泛化误差最小的模型作为相对最优模型。】

单词笔记:

• $overfitting$ : 过拟合
• $underfitting$ : 欠拟合
• $modelselection$ : 模型选择

PS：

1. 欠拟合时的改进方法：增加训练轮次，或者增加模型复杂度等。
2. 过拟合的改进方法：添加训练惩罚项等。

2.2 评估方法

从开始的泛化误差，我们可以知道，要想要比较好的模型，就需要我们对模型的泛化误差进行评估。此前，都是以新样本来说明，但是单个样本是无法用于有效的误差统计的，因此我们将所有用于测试的新样本组成一个数据集合，叫做“测试集”——并将测试集上的测试误差作为泛化误差的近似。

需要清楚一点的是，在数据划分时，通常存在一个假设——测试样本是真实的、独立同分布的。同时还需尽可能的使测试集中不包含训练集中的样本——即互斥。

我们清楚了模型评估需要一个测试集，此前模型训练又需要一个训练集，那么这样的数据应该从真是样本中如何划分呢？这就是下一步我们要学习的——对数据集进行有效合理的分割，即划分数据集。
$$\begin{gathered} 即：从D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m),划分出训练集S和测试集T. \\ S=(x_1,y_1),...,(x_i,y_i),i=1,2,3...M_S \\ T=(x_1,y_1),...,(x_i,y_i),i=1,2,3...M_T \\ S\cap T=\varnothing ,M_S+M_T=m \end{gathered}$$

2.2.1 留出法

留出法：是直接将数据集D划分为互斥的两个集合，分别为训练集$S$和测试集$T$。即：$D=S\cup T,S\cap T=\varnothing$ .

• $S$ :用于学习器学习
• $T$ :用于评估学习器的泛化误差

$eg$ : 以一个二分类问题来描述，假定$D$含有样本$1000$，利用留出法，留出$300$个样本用于测试（即$T$），因此余下的$S$含有$700$个样本。假设利用$S$训练后，模型在$T$上有$30$个样本分类错误，那么其错误率为: $(30/300)\ast 100$ , 即精度为: $1-10$ .

留出法缺点：

• 会受数据影响，不可避免的引入一些因训练样本规模不同而导致的估计偏差。

分层采样

但通常，我们并不是直接将数据进行比例划分，还需要保持数据分布的一致性——即数据划分前后，给类别/类型的数据分布比例不变。如：原数据中苹果占 $\frac{1}{5}$ ，那么划分后的S和T中苹果也相应的占各自数据样本总数的 $\frac{1}{5}$ .【这种划分方法通常叫做——分层采样】

可能你会有一个疑惑，为什么需要这样划分呢？这是因为如果数据分布改变，会对模型训练和评估引入额外的偏差。【你可以留意一下，通常机器学习应用较好的数据通常是那些分布如同正态分布一样的数据】

举一个不按分层采样来进行划分的示例，来更直观的理解为什么需要使用分层采样保持数据分布来避免引入额外的误差。

$eg$ : 假设$D$中含有$400$个正例，$600$个反例，不按分层采样划分，留出$200$个正例和$100$个反例为测试集T，余下为训练集$S$。当利用训练集$S$训练的模型用于测试集T时，出现$60$个分类错误， 分别是预测正例$20$项错误，反例$40$项错误。那么此时在$T$下的模型各分类的错误率为:
$$\begin{gathered} E_{正}=20/200\ast 100\%=10\% \\ {E}_{反}=40/100\ast 100\%=40\% \end{gathered}$$
可以看出模型对假例预测的效果较差。此时，让我们利用分层采样的划分方法，对D进行按类别比例划分得到$S$和$T$，$T$为$120$个正例和$180$个反例, 于是各分类错误率如下(假设预测结果保持不变):
$$\begin{gathered} E_{正}=20/120\ast 100\%=1/6\ast 100\%\approx 16.7\% \\ {E}_{反}=40/180\ast 100\%=2/9\ast 100\%\approx 22.2\% \end{gathered}$$
可以看出前后分类的评估情况大不相同，后者更稳定，误差不会偏向某一方，更倾向于实际的数据。前者之所以会在学习器上出现错误率差距如此大，是一方面是因为样本类别比例差异大，以及与原始数据的分布不相同导致的，从而使评估出现的偏差。【忽略S样本的一定影响，这里主要是为了表述分层抽样的必要性！】

数据集中样本的顺序

使用留出法时，除了要注意分层抽样以外，还要注意训练数据的顺序——要了解，单次使用留出法估计的结果往往不厚稳定可靠——需要将其划分的数据S和T，多次随机打乱后用于训练和评估。此时，每一次不同的随机顺序数据集，都会是模型产生不同的训练/评估结果，从而在对N次随机的结果取平均就可以得到较稳定的结果了。

数据集的大小比例

利用留出法时，还需要注意训练集S与测试集T之间的样本数目关系。如果训练集远大于测试集，此时模型的结果可能就会出现较大的偏差；因此，通常是取$[\frac{2}{3},\frac{4}{5}]$ 得样本作为训练集，剩余样本作测试集。

PS：

• 划分数据集的比例，也有例外。当数据集很大时，比如总样本为$100万$个，那么我们就不必留 $[\frac{1}{5},\frac{1}{3}]$ 的样本作为测试集了，因为通常哪怕是$1\%-2\%$ 的样本作为测试集都已经足够我们用于模型的筛选了。

单词笔记：

• $testingerror$ : 测试误差
• $hold-out$ : “留出法”
• $stratifiedsampling$ : 分层采样

2.2.2 交叉验证法

交叉验证法：

• 先将数据集$D$划分成$k$个大小相似（尽量相同）且互斥的子集，即$D=D_1\cup D_2...\cup D_k$ , $D_i\cap D_j=\varnothing$ .
• 每个子集都是通过分层采样得到
• 每次训练用$k-1$ 个子集的并集作为训练集，余下一个子集作为测试集
• 这样就会得到$k$组不同的训练/测试集合，$k$次不同的测试结果
• 最后取k次测试结果平均值作为模型结果

交叉验证法的一个优势，可以通过调节k的大小来调整最终评估结果的一个稳定性和保真性——但不是越大越好，因为k越大所消耗的时间越多，并且对模型最终评估结果可能并没有太多改善。不过，也正是因为$k$值可调，交叉验证法也被称为“K折交叉验证”。【$k$常用的值为$5，10$等，即五折交叉验证、十折交叉验证】

交叉验证法缺点：

• 会受数据影响，不可避免的引入一些因训练样本规模不同而导致的估计偏差。

数据集的样本顺序

类似于留出法，交叉验证法也会因为训练样本的顺序不同而导致模型训练/评估结果不同。因此，类似的，进行$p$次不同的划分顺序随机（子集中样本顺序随机）的k值不变的交叉验证，最后取$p$次结果的平均值作为最终结果——此时的交叉验证叫做：p次k折交叉验证。
$$\begin{gathered} [S,T{]}_i\to {\lambda }_i,{\lambda }_i为第i次验证的评估结果 \\ \lambda =\frac{1}{p}\sum _{j=0}^p{\lambda }_j,\lambda 为p次验证后的平均评估结果 \end{gathered}$$

留一法

交叉验证中，有一种特殊情况，即数据集$D$中仅含$m$个样本，此时令$k=m$ ，使得交叉验证中的k个子集均只含有单个样本 ——这就叫做留一法。

此时的验证数据集不再受到随机样本划分方式的影响，因为$k（m）$个子集中仅含有一个样本，不存在其它的排序方式。

留一法特点：

• 训练集仅仅比初始数据集少一个样本，也就是说训练集几乎代表了整个数据集的潜在分布（或者说几乎所有的数据特征）。
• 从而留一法的评估结果通常与使用数据集D进行训练的模型评估结果相似——因此，即T集下的评估结果与S集下的训练结果相似。【留一法时，通常只需要考虑训练结果即可】
• 留一法的评估结果往往更为精确【评估结果不是一定优于其它的数据划分方法】

留一法的缺点：

• 数据集较大时，因为将每一个样本当一个子集来划分，就会造成很大的计算（时间）开销。

单词笔记：

• $fidelity$ : 保真性
• $k-foldcrossvalidation$ : ”K折交叉验证“
• $Leave-One-Out$ : ”留一法“

2.2.3 自助法（可重复采样法）

自助法：

• 每次随机从数据集$D$中挑选一个样本，将其拷贝放入$D^{\prime }$ 中
• 然后将该样本放回数据集$D$，使得下一次采样仍然可能抽取到该样本
• 重复以上步骤$m$次，就得到了包含$m$个样本的训练集$D‘$ ——即自助采样的结果

自助法特点：

• D中的一部分样本可能多次出现$D^{\prime }$ 中，而有的样本不出现在$D^{\prime }$ 中。

• 减少训练样本规模不同造成的估计偏差影响

自助法中样本是否被抽样，可以用一个简单的估计来计算——设单个样本被采样的概率为$\frac{1}{m}$ ，则不被采样的概率为$1-\frac{1}{m}$ ，即一个$0，1分布$。因此，（任意）单个样本m次采样的都没采样到的概率为$(1-\frac{1}{m}{)}^m$ ——即初始数据集$D$在m次采样中单个样本不被采样的概率。

因此，将公式中$m$扩展到$\infty$ 就得到初始数据集D中单样本不被采样的概率：

由: ${\lim }_{x\to 0}(1+x{)}^{\frac{1}{x}}=e$ 有:

令 $x=-\frac{1}{m}$ , 原式变为:
$$x\to 0,即m\to \infty :li{m}_{m\to \infty }(1-\frac{1}{m}{)}^{-m}=e$$
此时，变换式略微变换一下:
$$\underset{m\to \infty }{\lim }(1-\frac{1}{m}{)}^{-m}=e\to \underset{m\to \infty }{\lim }((1-\frac{1}{m}{)}^m{)}^{-1}=e$$
此时再对其求一个倒数，就能得到$m$趋于$\infty$ 的未采样概率：
$$\begin{gathered} \underset{m\to \infty }{\lim }((1-\frac{1}{m}{)}^m{)}^{-1}=\underset{m\to \infty }{\lim }\frac{1}{(1-\frac{1}{m}{)}^m}=e \\ \downarrow \\ \underset{m\to \infty }{\lim }(1-\frac{1}{m}{)}^m=\frac{1}{e}\approx 0.368 \end{gathered}$$
因此，我们就得出了，自助采样时，初始数据集$D$中约有$36.8\%$ 的样本不被采样到——即不会出现在采样数据集$D’$中。所以，通过自助法，我们可以将$D^{\prime }$ 作为训练集，而$D/D^{\prime }$ 作为测试集。【$D/D^{\prime },指D中除D‘以外的样本$】

因为初始数据集$D$中约有$36.8\%$ 的样本未被采样过，不曾出现在训练集中，可以直接将这部分数据样本用于评估——这样的评估结果，称为“包外估计”。

自助法优点：

• 数据集较小时、难以有效划分训练/测试集时，自助法因$\frac{1}{3}$ 的特性，而可以很好的有效划分数据（总能有$\frac{1}{3}$ 的不曾出现在训练集中的数据可以作为测试集 ）。
• 自助法因为随机性，可以产生多个不同的不交叉的训练集和测试集。

自助法缺点：

• 虽然对小数据集也能很好的划分，但是却会改变初始数据集$D$的分布，从而引入估计偏差
• 在数据集较大时，通常采用留出法或者交叉验证更为方便或有效。

单词笔记：

• $bootstrapping$ : ”自助法“
• $bootstrapsampling$ : “自助采样法”
• $out-of-bagestimate$ : 包外估计

2.2.4 调参与最终模型

大多数学习算法的结果与其参数设定息息相关，不同的参数配置，学习到的潜在分布/特征就会有不同的差异，其最终的模型往往就有显著的差别。因此，再进行模型评估和选择前，除了选择学习算法（模型算法）外，我们还需要对算法参数进行设定——即参数调节，简称调参。

范围调参

为参数选择一定的范围，和变化步长。$eg$: 设定参数的调节范围$[0,0.2]$ ，并以$0.05$ 作为步长，则训练该参数就需要训练$0.2/0.05+1=4+1=5$ 次, 然后从这$5$个候选值中选择最满意的一个参数值。【虽然这样产生的参数结果不一定最优，但是确是一个计算开销和性能估计的折中方法】

PS：

• 参数调得好坏往往决定着最终模型的性能

验证集引入

为了加以区分各种训练集的作用，现在将之前用于评估的数据集从测试集$T$重新定义为验证集V，将验证集上表现的模型性能来进行模型选择和调参。

基本数据集的划分：

• 训练集：用于模型训练的数据集
• 验证集：用于模型评估的数据集
• 测试集：用于模拟模型实际测试的数据集

单词笔记：

• $parameter$ : 参数
• $parametertuning$ : 调参

2.3 性能度量

所谓性能度量，就是衡量模型泛化能力的标准。

此前，我们仅仅是将错误率直接用于计算评估误差，这通常是不足够的。一般地，我们对不同的任务，会使用不同的性能度量方法，从而导致不同的训练结果。【这也意味着，模型”好坏“是相对的】

模型“好坏”的相关因素：

• 算法
• 数据
• 任务需求

这里列举一项在预测中使用较多的性能度量方法，均方误差——通常用于回归预测这样的连续预测任务。

均方误差

均方误差定义如下:
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
其中, $m$ 是预测样本总数，$f(x_i)$ 是预测结果，$y_i$ 是真实标记/标签.

该性能度量就是通过计算模型预测输出与真实标签之间的距离，然后利用这个“误差距离”对进行模型修正。

对于连续的数据分布$D$ ，可以将上式转换为关于概率密度函数$p(\cdot )$ 的形式：
$$E(f;D)={\int }_{x\sim D}(f(x)-y{)}^{2}p(x)dx$$
即：将$\sum$ 换 $\int$ ，同时将原来的等概率$\frac{1}{m}$ 换成关于x分布的概率密度函数 $p(x)$ 。

为了理解清晰，这里将以$x$ 轴为$(f(x_i)-y_i)$ 的误差值，$y$ 轴为$E(f;D)$ 。

均方误差曲线

可以看出，$MSE$ 均方误差对于离群点，也就是损失较大时，计算的误差值越大，且梯度也越大，使得数据向离群点方向靠近的趋势更明显，这一点在后边学习梯度下降法之后会更加清晰。【因此，数据中包含大量离群点时，可能MSE并不适合作为一个好的性能度量】

单词笔记：

• $performancemeasure$ : 性能度量
• $meansquarederror$ : 均方误差

【接下来介绍的度量方法，均与分类任务有关】

2.3.1 将错误率与精度

将前面提到错误率与精度, 进行一定形式的转换，引入一个指示函数来表征预测是否正确。
$$II(\cdot ),在\cdot 为真时值为1，\cdot 为假时值为0$$
所以错误率表示为：
$$E(f;D)=\frac{1}{m}\sum _{i=1}^{m}II(f(x_i)\ne y_i)$$
精度为:
$$acc(f;D)=\frac{1}{m}\sum _{i=1}^{m}II(f(x_i)=y_i)=1-E(f;D)$$
同样的，对于连续数据分布$D$, 可以表示为:
$$\begin{gathered} E(f;D)={\int }_{x\sim D}II(f(x)\ne y)p(x)dx \\ acc(f;D)={\int }_{x\sim D}II(f(x)=y)p(x)dx=1-E(f;D) \end{gathered}$$

2.3.2 查准率、查全率与F1

对于二分类问题，类别组合划分：

• 真正例($TP$)：预测为正例，标签为正例
• 假正例($FP$)：预测为正例，标签为反例
• 真反例($TN$)：预测为反例，标签为反例
• 假反例($FN$)：预测为反例，标签为正例

名称规律为——：

• 真假($T/F$)：对应标签与结果是否一致，一致为真($True$)
• 正反($P/N$)：对应预测正反例($Positive,Negative$)
• 标签结果在前，预测结果在后进行表示

分类混淆矩阵：（左侧对应真实情况，上侧对应预测情况）

	正例	反例
正例	$y$ 与 $f(x)$ 一致为真，预测结果为正：真正例	$y$ 与 $f(x)$ 不一致为假，预测结果为反：假反例
反例	$y$ 与 $f(x)$ 不一致为假，预测结果为正：假正例	$y$ 与 $f(x)$ 一致为真，预测结果为假：真反例

所以，判断分类组合，先看后项——是什么例，然后看前项，真还是假即可判断实际分类情况了。

$eg$ :

• 真反例：反例意味着：预测为反例，真意味着标签与预测一致，所以可以判断标签和预测都是反例。
• 假反例：反例意味着：预测为反例，真意味着标签与预测不一致，所以可以判断标签是正例。

单词笔记：

• $truepositive$ : 真正例
• $falsepositive$ : 假正例
• $truenegative$ : 真负例
• $falsenegative$ : 假负例
• $confusionmatrix$ : 混淆矩阵

所以，分清楚组合情况后，我们就可以开始讨论查准率、查全率以及$F1$分数了。

查准率($P$)

查准率，也叫准确率。

定义为：
$$\begin{gathered} P=\frac{TP}{TP+FP} \\ TP：真正例 \\ FP：假正例 \end{gathered}$$
即, 模型预测结果的真正例数占真正例与假正例之和的比例。

也就是模型预测结果中，预测为正例时，正确分类正例所占的比例——真正例，即标签与预测一致，分类正确；而FP则标签与预测不一致，预测为正例，分类错误。【即预测为正时的分类准确率】

因此，可以发现，$P$ 越大，那么预测正例正确的可能性越大。【主要对预测结果而言】

查全率($R$)

查全率，也叫召回率。

定义为:
$$\begin{gathered} R=\frac{TP}{TP+FN} \\ TP：真正例 \\ FN：假反例 \end{gathered}$$
即，模型预测结果的真正例数占真正例与假反例之和的比例。

也就是模型预测结果中，标签为正例时，预测与标签一致所占的比例——假反例，即预测为反例，标签为正例。【即标签为正时的分类准确率】

因此，可以发现，$R$ 越大，那么正例正确的可能性越大。【主要对标签而言】

查准率与查全率是一对矛盾量——往往一者高，另一者就低。不过也有例外，比如在一些简单的分类任务（西瓜的好坏）中，可能两者都比较高。

单词笔记：

• $precision$ : ”查准率“
• $recall$ : ”查全率“

P-R曲线

因此，我们将模型预测“最可能”是正例的样本排在前面，将“最不可能”是正例的样本排在后面，然后按此顺序依次计算出当前的$P、R$——然后将所有计算的P、R值组成有序实数对$(P，R)$ ,然后绘制出图形，就得到了我们的“$P-R曲线$” 。

如图，将$R$ 查全率作为横坐标，$P$ 查准率作为纵坐标：

图中的两条$P-R曲线$ ，没有出现明显的包含关系，因此无法做出直接的判断，需要进一步的分析。

F1分数

分析"$P-R曲线$" 对于模型选择的帮助主要从这些方面入手：

• 如果一个模型的的$P-R曲线$完全包住另一个模型的$P-R曲线$，则可以说前者性能更优异。

• 如果模型有交叉，则需要具体问题具体分析：

  • 比较P-R曲线下面积大小，但是不好估算

  • 平衡点($BEP$)：即查准率等于查全率时的取值，越大性能越好

  • $F1$度量： $F1$分数越大越好
    $$\begin{gathered} F1=\frac{2\times P\times R}{P+R},P=\frac{TP}{TP+FP},R=\frac{TP}{TP+FN} \\ \downarrow \\ F1=\frac{2\times \frac{TP}{TP+FP}\times \frac{TP}{TP+FN}}{\frac{TP}{TP+FP}+\frac{TP}{TP+FN}}=\frac{2\times TP}{样例总数+TP-TN} \\ 样例总数:TP+TN+FP+FN \end{gathered}$$

其中$F1$度量是一个常用的评估量，其形式本身来自于，$P$ 与$R$ 的调和平均: $\frac{1}{F_1}=\frac{1}{2}(\frac{1}{P}+\frac{1}{R})$ 。

虽然现在的$F1$表现已经显得比较优美了，但是我们还可以通过对调和平均进行一个加权操作，使得它满足实际训练过程中对查准率与查全率的要求不同的情况。【$F1$ 中 $P$ 与 $R$ 重要性相同！】

加权调和平均定义为:
$$\frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}(\frac{1}{P}+\frac{{\beta }^2}{R})$$
因此，更一般的$F1$度量标准，$F_{\beta }$ 定义为：
$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$
（通常要求$\beta >0$ ，但是为了更一般的形式，且原式中使用${\beta }^2$参与计算，所以，以$|\beta |$表示 $\beta >0$）

【$|\beta |$ 表征了查全率对查准率的相对重要性】

根据 $|\beta |$ 的不同：

• $|\beta |<1$, 查准率有更大的影响
• $|\beta |=1$, 即退化为$F1$ ，查全率与查准率一样重要
• $|\beta |>1$, 查全率有更大影响

在执行多分类任务等时，我们拥有 $n$ 个二分类的混淆矩阵，此时我们就需要从 $n$ 个二分类混淆矩阵中综合考察$P$ 、$R$ 和 $F1$。

宏查准、查全率以及宏$F1$

一种综合考察的方法：

• 先计算各混淆矩阵的查准率与查全率，并记为$(P_1,R_1),(P_2,R_2),...,(P_n,R_n)$

• 然后取其所有查准率与查全率的平均值

• 最有利用查准率与查全率的平均值计算F1

• 此时的平均查准率、平均查全率和F1，分别表示为:
  $$\begin{gathered} 宏查准率：macro-P=\frac{1}{n}\sum _{i=1}^n{P}_i \\ 宏查全率：macro-R=\frac{1}{n}\sum _{i=1}^n{R}_i \\ 宏F1度量：macro-F1=\frac{2\times macro-P\times macro-R}{macro-P+macro-R} \end{gathered}$$

微查准、查全率以及微$F1$

另一种综合度量多个二分类混淆举证的方法：

• 直接计算$TP、FP、TN、FN$ 的平均值：$\overline{TP},\overline{FP},\overline{TN},\overline{FN}$

• 利用平均分类情况计算查准率、查全率和F1

• 此时的查准率、查全率和F1的表示为：
  $$\begin{gathered} 微查准率：micro-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}} \\ 微查全率：micro-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}} \\ 微F1度量：micro-F1=\frac{2\times micro-P\times micro-R}{micro-P+micro-R} \end{gathered}$$

单词笔记：

• $macro-P$ ，$macro-R$ ，$macro-F1$ : ”宏查准率“，”宏查全率“，”宏F1“
• $micro-P$ ，$micro-R$ ，$micro-F1$ : ”微查准率“，”微查全率“，”微F1“
• $Break-EvenPoint$ : 平衡点

2.3.3 ROC与AUC

在实际模型中，大多数模型对预测样本的输出都是一个实数值或者概率值，然后对模型的输出值进行一个分类阈值的比较：

• 输出值 > 分类阈值，则为正例
• 输出值 < 分类阈值，则为反例

比如，在神经网络分类中，借助 $sigmoid$ 和 $softmax$ 函数的特性进行分类预测输出时，总是一个在 $[0,1.0]$ 之间的一个实值，然后将这个值与设定的分类阈值进行比较；假设分类阈值为$0.5$ ，则当 $f(x)>0.5$ 时，判断该预测输出为正例，反之为反例。

通常，这个实值的好坏，直接决定学习器的泛化能力。因此，我们可以按照输出的实值大小进行排序，大的在前，小的在后，此时相当于将预测“最可能”为正例的排在前，预测“最不可能”为正例的排在后。此时，分类过程就相当于是在这个排序中选择一个**“截断点”**将所有样本分为两部分，截断点前的样本部分判为正例，截断点后的样本部分判为反例。

在前面有提到过，样本的排序会对模型的好坏起到影响。因此，提出利用$ROC曲线$描述模型“一般情况下”泛化性能的好坏程度。

ROC：即受试者工作特征曲线。

在绘制$ROC曲线$前，需要满足以下条件：

• 首先对学习器的预测结果进行排序
• 然后把排序好的结果按则正例进行评估（即标签均为正例，然后比较预测是否也为正例）
• 注意：此时的预测结果仅仅是实值，而不是分类结果。

$ROC曲线$的绘制：

• 计算真正例率和假正例率:
  $$\begin{gathered} TPR=\frac{TP}{TP+FN},即:标签为正例时的正确分类比例 \\ FPR=\frac{FP}{FP+TN},即:标签为反例时的错误分类比例 \end{gathered}$$

• 然后将$TPR$作为纵轴，$FPR$作为横轴，如图:

  • 

  • $ROC曲线$分析：

    1. 图中对角线对应着“随机猜测”模型，也就是正例和反例的概率是相等的。
    2. 在点$(0,1)$处，$TPR=1$, $FPR=0$，即对应将所有正例都排在反例前面的“理想模型”——因为截断点$(FPR,TPR)$无论取$ROC曲线$上哪一点，都满足$FPR\ge 0$ , 所以满足(0,1)点的“理想模型”中正例总是排在前面，即预测分类总是正确的。【不要忘了前面的条件哦——正例总排在前，意味着模型输出的实值总与正例对应，因此，此时截断点无论取面积内哪一个点，结合标签为正，都可判断该理想模型对排在前面的预测结果是正确的。】

不过，实际任务中的ROC曲线并不是这么平滑的，因为样本总是有限的，因此，实际的ROC曲线通常是由离散的点进行相邻连接得到的。但，构成ROC曲线的点却不是随意得到的，而是有一定的规律：

• 假设给定了$m^{+}$ 个正例和$m^{-}$ 个反例，并对学习器的预测结果进行排序
• 首先将分类阈值设置为$0$，此时的$TPR$(真正例率)与$FPR$(假正例率)均为零，于是在$(0,0)$处标一个点
• 然后将分类阈值往后移动，依次设置为后面的每一个预测结果——即依次将每一个样本划分为正例来判断
• 在确定分类阈值后，标记点坐标按照以下规则逐一标定:
• 首先确定作为分类阈值的样本的前一个样本的坐标: $(x,y)$
• 然后判断前一个样本的情况：
  • 若为正例，则所作标记点坐标为$(x,y+\frac{1}{m^{+}})$ ，即沿着TPR轴移动
  • 若为反例，则所作标记点坐标为$(x+\frac{1}{m^{-}},y)$ ，即沿着FPR轴移动
  • 可以发现，所做的偏移大小与所属类别大小有关。
• 最后，将做好的所有标记点按相邻点连接起来。

$ROC曲线$的分析：

1. 如果多个学习器的ROC曲线存在完全包含关系，那么被包含的学习器性能要差一些。
2. 如果存在曲线交叉，那么就需要做一定的分析才可以判断性能高低，而常用的$AUC$分析。

$AUC$分析：即$ROC曲线$下面积分析——$AUC$越大，学习器性能越好。

$AUC$的计算：

• 令组成$ROC曲线$的有序点坐标依次为: $\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$ ，且 $x_1=0,x_m=1$

• 此时的$AUC$计算公式为：
  $$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)\cdot (y_i+y_{i+1})$$

AUC的结果也与样本预测的排序质量有关。因此，引入一个排序损失来说明AUC与样本预测的排序质量。

排序损失:

• 假设给定 $m^{+}$ 个正例和 $m^{-}$ 个反例，并满足：
  $$\begin{gathered} D^{+}包含所有的正例（m^{+}）,即正例集 \\ {D}^{-}包含所有的反例（m^{-}）,即反例集 \end{gathered}$$

• 此时的排序损失:
  $${\ell }_{rank}=\frac{1}{m^{+}{m}^{-}}\sum _{x^{+}\in D^{+}}\sum _{x^{-}\in D^{-}}\left(II(f(x^{+})<f(x^{-}))+\frac{1}{2}II(f(x^{+})=f(x^{-}))\right)$$

• 该损失计算会考虑每一对正反例，若正例预测值小于反例预测值，就意味着将反例拍到了正例的前面，此时记一个“罚分”；若正例预测值与反例预测值相等，意味着反例可能刚好在分割临界处或也排到正例前面了( $f(x_i^{+})=f(x_i^{-})>f(x_{i+1}^{+})$ )，此时记半个“罚分”。

• 该损失的计算值与$AUC$一样总是小于$1$的，且刚好对应$ROC曲线$之上的面积，满足:
  $$AUC=1-{\ell }_{rank}$$

PS：

• 在$ROC曲线$上的点$(x,y)$ ，其中 $x$ 表示排序在此之前的样本中反例占的比例；$y$ 表示正例的比例。【请结合$TPR$与$FPR$理解】

单词笔记：

• $cutpoint$ : 截断点
• $ROC$ : 受试者工作特征曲线——$ReceiverOperatingCharacteristic$
• $TruePositiveRate$ : 真正例率
• $FalsePositiveRate$ : 假正例率
• $AUC$ : ROC曲线面积——$AreaUnderROCCurve$

2.3.4 代价敏感错误率与代价曲线

在现实分类任务中，不同的分类错误的价值是不同的，比如对于疾病预测，如果分类错了造成的结果差异是巨大的。比如，一个健康人被判定为生病，偶尔的这样错误或许还可以接受；但是如果一个生病很重的，却被判断为健康，可能使得患者错失治疗的最佳时机，甚至死亡，这样的分类错误造成的影响就很大。因此，为了区分不同影响程度或者说对不同错误的忍受度不同，我们引入非均等代价来考量。

比如:
$$\begin{gathered} 将健康判为生病:代价为1 \\ 将生病判为健康:代价为\infty \end{gathered}$$
这就是两个不均等的代价，很明显，我们很不希望将生病判为健康，因此设定了很大的代价来提醒模型/学习器。

接下来还是以二分类为例，讨论不均等代价——首先引入代价矩阵:

	第0类	第1类
第0类	$cos{t}_{ii}=0$	$cos{t}_{01}$
第1类	$cos{t}_{10}$	$cos{t}_{ii}=0$

• $cos{t}_{ii}$ 表示将第$i$类样本预测为第$i$类，及预测正确，代价为$0$
• $cos{t}_{01}$ 表示将第$0$类样本预测为第$1$类，预测错误，所以存在代价
• $cos{t}_{10}$ 表示将第$1$类样本预测为第$0$类，预测错误，所以存在代价
• 如果 $cos{t}_{01}>cos{t}_{10}$, 意味着将0误判为1的错误更被重视。

我们来回顾一下文章一开始提到的错误率:
$$\begin{gathered} E(f;D)=\frac{a}{m},a为错误样本数,m为总样本数 \\ 可以看出每一个错误样本对错误率的贡献都是一样的(\frac{1}{m}) \end{gathered}$$
在这里，我们将引入代价敏感（即不均等代价）到错误率中:

• 设0类对应正例，1类对应反例
  $$\begin{gathered} D^{+}包含所有的正例（m^{+}）,即正例集 \\ {D}^{-}包含所有的反例（m^{-}）,即反例集 \end{gathered}$$

• 带入$E(f;D)$, 得**”代价敏感“错误率** :

$$\begin{gathered} E(f;D;cost)=\frac{1}{m}\left(\sum _{x_i\in D^{+}}II(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}II(f(x_i)\ne y_i)\times cos{t}_{10}\right) \\ cos{t}_{01}:将正例判断为反例的代价 \\ cos{t}_{10}:将反例判断为正例的代价 \end{gathered}$$

此时的错误率对不同的类别错误有不同的忍受程度。

从错误率的代价引入，我们已经初步了解了代价敏感是怎么回事儿了。

接下来，我们将了解一下代价曲线——即基于分布定义的代价敏感错误率表示。

代价曲线是为了反应学习器在不均等代价下的期望总体代价，此时的ROC曲线已经不能满足此时模型的评估需要了。

代价曲线图的组成:

• 将正例概率代价作为横轴:
  $$\begin{gathered} P(+{)}_{cost}=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}} \\ p为样例为(标签)正例的概率 \\ cos{t}_{01}:正例误判为反例的代价 \\ cos{t}_{10}:反例误判为正例的代价 \end{gathered}$$

• 而纵轴取的是归一化代价——与$FNR和FPR$相关:
  $$\begin{gathered} cos{t}_{norm}=\frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}} \\ FPR为假正例率, \\ FNR=1-FPR,FNR为假反例率 \end{gathered}$$

代价曲线的绘制：

• $ROC曲线$上的每一个点(FPR,TPR)，都对应一条代价曲线
• 该代价曲线即代价平面上 $(0,FPR)$ 和 $(1,FPR)$ 两点连成的直线
• 然后逐次绘制$ROC曲线$上的其它点对应的代价曲线即可
• 绘制好所有曲线后，此时，所有代价曲线的公共下界面积——即为所有条件下学习器的期望总体代价

代价曲线示意图:

单词笔记：

• $unequalcost$ : 非均等代价，又是也叫非等价代价
• $costmatrix$ : 代价矩阵
• $cost-sensitive$ : 代价敏感
• $costcurve$ : 代价曲线
• $cost-sensitivelearning$ : 代价敏感学习

2.4 比较检验

（待补充）

2.4.1 假设检验

（待补充）

2.4.2 交叉验证t检验

（待补充）

2.4.3 McNemar检验

（待补充）

2.4.4 Friedman与Nemenyi后续检验

（待补充）

2.5 偏差与方差

（待补充）

第二章 阅读材料整理

【link名称为作者姓名等，可点击前往查看相关论文。】

• 自助采样法：$EfronandTibshirani,1993$
• ROC曲线： $Spackman,1989$
• AUC：$Bradley,1997$ ，B站AUC解读教学视频
• ROC曲线用途综述：$Fawcett,2006$
• 代价曲线：$DrummondandHolte,2006$
• 代价敏感学习：$Elkan,2001$
• 交叉验证法：$Dietterich,1998$
• 比较检验：$Demsar,2006$
• 偏差-方差-协方差分解：$Gemanetal.,1992$
• 对偏差和方差的估计实验：$KongandDietterich,1998$

第二章 概念单词

• $\star$ $accuracy$ : 精度
• $\star$ $error$ : 误差/错误——错误率: $errorrate$
• $empiricalerror$ : 经验误差
• $generalizationerror$ : 泛化误差
• $\star$ $overfitting$ : 过拟合
• $\star$ $underfitting$ : 欠拟合
• $modelselection$ : 模型选择
• $testingerror$ : 测试误差
• $hold-out$ : “留出法”
• $stratifiedsampling$ : 分层采样
• $fidelity$ : 保真性
• $\star$ $k-foldcrossvalidation$ : ”K折交叉验证“
• $Leave-One-Out$ : ”留一法“
• $bootstrapping$ : ”自助法“
• $bootstrapsampling$ : “自助采样法”
• $out-of-bagestimate$ : 包外估计
• $\star$ $parameter$ : 参数
• $\star$ $parametertuning$ : 调参
• $validationset$ : 验证集
• $\star$ $performancemeasure$ : 性能度量
• $\star$ $meansquarederror$ : 均方误差
• $\star$ $precision$ : ”查准率“
• $\star$ $recall$ : ”查全率“
• $macro-P$ ，$macro-R$ ，$macro-F1$ : ”宏查准率“，”宏查全率“，”宏F1“
• $micro-P$ ，$micro-R$ ，$micro-F1$ : ”微查准率“，”微查全率“，”微F1“
• $\star$ $truepositive$ : 真正例
• $\star$ $falsepositive$ : 假正例
• $\star$ $truenegative$ : 真负例
• $\star$ $falsenegative$ : 假负例
• $\star$ $confusionmatrix$ : 混淆矩阵
• $Break-EvenPoint$ : 平衡点
• $cutpoint$ : 截断点
• $\star$ $ROC$ : 受试者工作特征曲线——$ReceiverOperatingCharacteristic$
• $\star$ $TruePositiveRate$ : 真正例率
• $\star$ $FalsePositiveRate$ : 假正例率
• $\star$ $AUC$ : ROC曲线面积——$AreaUnderROCCurve$
• $unequalcost$ : 非均等代价，又是也叫非等价代价
• $\star$ $costmatrix$ : 代价矩阵
• $\star$ $cost-sensitive$ : 代价敏感
• $\star$ $costcurve$ : 代价曲线
• $cost-sensitivelearning$ : 代价敏感学习
• $hypothesistest$ : 假设检验
• $\star$ $binomialdistribution$ : 二项分布
• $binomialtest$ : 二项检验
• $t-test$ : T检验
• $pairedt-tests$ : 成对t检验
• $post-hoctest$ : 后续检验
• $confidence$ : 置信度
• $contingencytable$ : 列联表
• $Bilateralhypothesis$ : 双边假设
• $bias-variancedecomposition$ : 偏差-方差分解
• $bias-variancedilemma$ : 偏差-方差窘境
• $bias-variance-covariancedecomposition$ : 偏差-方差-协方差分解

第二章 遗留问题

【关于遗留问题，会在后期单独整理后发布。】

1. 深入了解并分析$AUC$计算的原理，讨论${\ell }_{rank}$ 的意义。
2. 深入了解代价曲线的计算原理和意义。
3. 深入了解常用检验方法——$t$ 检验、$McNemar$ 检验、$Friedman$ 检验以及$Nemennyi$ 后检验等。

如果对你有所帮助，不妨点个赞加个关注，你的鼓励是我创作的动力！做更多更好的笔记！