【最全的】分类算法的性能度量指标

机器学习分类算法的评价指标有：混淆矩阵（Confuse Matrix）、准确率（Accuracy）、错误率（ErrorRate）、精准率（Precision）和召回率（Recall）、F1 Score、ROC曲线(Receiver Operating Characteristic Curve)、AUC（Area Under the Curve）、KS曲线、Lift值、P-R曲线 。

接下来对以上这些指标进行一一解释，并给出多分类问题的综合评价指标，如宏平均、微平均、Kappa系数，最后用一个多分类实例来计算这些指标。

1. 混淆矩阵

混淆矩阵(Confusion Matrix)，可以使人们更好地了解分类中的错误。如果矩阵中的非对角元素均为0，就会得到一个完美的分类器。下图的混淆矩阵只针对二分类问题得到的。

真正例（True Positive，TP）：一个正例被正确预测为正例

真反例（True Negative，TN）：一个反例被正确预测为反例

假正例（False Positive，FP）：一个反例被错误预测为正例

假反例（False Negative，FN）：一个正例被错误预测为反例

2. 准确率

准确率是所有样本中预测正确的样本占比，其公式如下：
$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$
准确率有一个明显的弊端问题，就是在数据的类别不均衡，特别是有极偏的数据存在的情况下，准确率这个评价指标是不能客观评价算法的优劣的。

如：在测试集中，有1000个测试样本，999个反例，只有1个正例。如果模型对任意一个测试样本都预测是反例，那么模型的准确率就是99%，从数值上看是非常好的，但事实上，这样的算法没有任何的预测能力。

3. 错误率

错误率指的是所有测试样例中错分的样例比例，其公式如下
$$ErrorRate=\frac{FP+FN}{TP+TN+FP+FN}=1-Accuracy$$

但是这样的度量错误掩盖了样例如何被分错的事实。

4. 精准率、召回率

精准率（Precision）又称查准率，它是针对预测结果而言的，它的含义是在所有被预测为正的样本中实际为正的样本的概率，即在预测为正样本的结果中，有多少把握可以预测正确，其公式如下：
$$Precision=\frac{TP}{TP+FP}$$
精准率和准确率是完全不同的两个概念。精准率代表对正样本结果中的预测准确程度，而准确率则代表整体的预测准确程度，既包括正样本，也包括负样本。

召回率（Recall）又称查全率，它是针对原样本而言的，它的含义是在实际为正的样本中被预测为正样本的概率，其公式如下：
$$Recall=\frac{TP}{TP+FN}$$
在不同的应用场景下，关注点不同，例如，在预测股票的时候，更关心Precision，即预测升的那些股票里，真的升了有多少，因为那些预测升的股票都是投钱的。而在预测病患的场景下，更关注Recall，即真的患病的那些人里预测错了情况应该越少越好。

Precision和Recall是一对此消彼长的度量。例如在推荐系统中，想让推送的内容尽可能用户全都感兴趣，那只能推送把握高的内容，这样就漏掉了一些用户感兴趣的内容，Recall就低了；如果想让用户感兴趣的内容都被推送，那只有将所有内容都推送上，宁可错杀一千，不可放过一个，这样Precision就很低了。

5. F1-Score

通常使用Precision和Recall这两个指标，来评价二分类模型的效果。但是，Precision和Recall指标有时是此消彼长的，即精准率高了，召回率就下降。为了兼顾Precision和Recall，最常见的方法就是F-Measure，又称F-Score。F-Measure是P和R的加权调和平均，计算公式如下：
$$\begin{array}{r}\frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}\cdot (\frac{1}{P}+\frac{{\beta }^2}{R})\\ F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}\end{array}$$
当$\beta =1$时，也就是常说的F1-score,是P和R的调和平均，F1-Score的取值范围从0到1的，1代表模型的输出最好，0代表模型的输出结果最差 。当F1较高时，模型的性能越好。
$$\begin{array}{r}\frac{1}{F1}=\frac{1}{2}\cdot (\frac{1}{P}+\frac{1}{R})\\ F1=\frac{2\times P\times R}{P+R}\end{array}$$

其中，P代表Precision，R代表Recall。

6. ROC曲线

ROC曲线全称为受试者工作特征曲线（Receiver Operating Characteristic Curve）。ROC是一张图上的一条线(如下图所示)，越靠近左上角的ROC曲线，模型的准确度越高，模型越理想；

图ROC曲线中，横轴是假阳率（False positive rate ，简称FPR），定义为 在所有真实的负样本中，被模型错误的判断为正例的比例 ，计算公式如下
$$FPR=\frac{FP}{FP+TN}$$
纵轴是真阳率（True Positive Rate，简称TPR），定义为 在所有真实的正样本中，被模型正确的判断为正例的比例，其实就是召回率，计算公式如下
$$TPR=\frac{TP}{TP+FN}$$
上图ROC曲线中，左下角的点所对应的是将所有样本判断为反例的情况，而右上角的点对应的是将所有样例判断为正例的情况；

FPR表示模型对于负样本误判的程度，而TPR表示模型对正样本召回的程度。我们所希望的当然是：负样本误判的越少越好，正样本召回的越多越好。所以总结一下就是TPR越高，同时FPR越低（即ROC曲线越陡），那么模型的性能就越好。 参考如下动态图进行理解。

进行模型的性能比较时，若一个模型A的ROC曲线被另一个模型B的ROC曲线完全包住，则称B的性能优于A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。

ROC曲线对整体样本是否均衡并不敏感。因为ROC曲线只与TPR和FPR有关系，而这两个指标是针对单一类别的预测结果而言的 。举个例子：假设总样本中，90%是正样本，10%是负样本。在这种情况下如果使用准确率进行评价是不科学的，但是用TPR和FPR却是可以的，因为TPR只关注90%正样本中有多少是被预测正确的，而与那10%负样本毫无关系，同理，FPR只关注10%负样本中有多少是被预测错误的，也与那90%正样本毫无关系。这样就避免了样本不平衡的问题。

阈值问题

ROC曲线也是通过遍历所有阈值来绘制整条曲线的。如果我们不断的遍历所有阈值，预测的正样本和负样本是在不断变化的，相应的在ROC曲线图中也会沿着曲线滑动。

无视样本不平衡

ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。

7. AUC

AUC( Area Under Curve )是曲线下面积，AUC给出的是分类器的平均性能值。 每一条ROC曲线对应一个AUC值。通常，AUC的取值在0.5与1之间。 模型的AUC面积值越大，模型的准确度越高，模型越理想；

8. KS曲线

KS（ Kolmogorov-Smirnov）值越大，表示模型能够将正、负客户区分开的程度越大，则模型的风险区分能力越强。KS值的取值范围是[0，1]。

KS需要TPR和FPR两个值，具体如下：

• 真阳率(True Positive Rate ,TPR)，计算公式为TPR=TP/(TP+ FN)，刻画的是在所有真实的正样本中，被模型正确的判断为正例的比例。
• 假阳率(False Positive Rate, FPR)，计算公式为FPR= FP / (FP + TN)，计算的是在所有真实的负样本中，被模型错误的判断为正例的比例 。
• KS=max(TPR-FPR)： 两条曲线之间的最大间隔距离

绘图步骤

1. 根据预测是正例的概率值对样本进行降序排序，这就是截断点依次选取的顺序；
2. 按顺序选取N个截断点（如：分别在1/N，2/N，3/N等位置），计算TPR和FPR ；
3. 横轴为样本的占比（最大1.0），纵轴分别为TPR、FPR、(TPR-FPR)，可以得到KS曲线

KS曲线含有三条线，其横轴是阈值，纵轴是TPR（黄色那条）、FPR（蓝色那条）和（TPR-FPR）(绿色那条)的值。两条曲线之间相距最远（即绿色曲线最高点，即KS值）对应的阈值，就是最能划分模型的阈值。

具体KS曲线如下图所示：

一般，KS>0.3，则表示模型有较好的预测准确性，具有如下：

KS值	说明
（0.3，+∞】	模型预测性较好
（0.2，0.3】	模型可用
（0，0.2】	模型预测能力较差
【-∞，0】	模型错误

9. Lift值

Lift值是指与不利用模型相比，模型的预测能力“变好”了多少，即用该模型与没用该模型即随机选择所得结果的比值，Lift应该大于1，且Lift(提升指数)越大，模型预测效果越好。

例如：对于某二分类模型，假设需要给这1000名顾客进行营销。如果不用模型，一般有90个顾客会产生购买行为，则Random Rate=9%。如果按照模型预测的正例概率降序排序，取前10%（即前100个顾客），如果其中有60个人产生购买行为，那么排名前10%的用户其实际购买率的Lift=(60/100)/9%=6.67。

10. P-R曲线

P-R曲线(Precision Recall Curve )表现的是Precision和Recall之间的关系。

P-R曲线定义如下：根据学习器的预测结果（一般为一个实值或概率）对测试样本进行排序，将最可能是“正例”的样本排在前面，最不可能是“正例”的排在后面，按此顺序逐个把样本作为“正例”进行预测，每次计算出当前的P值和R值，如下图所示：

当P-R曲线越靠近右上方时，表明模型性能越好。在对不同模型进行比较时，一般有以下两种情况：

• 若一个模型的P-R曲线被另一个模型的P-R曲线完全包住，则说明后者的性能优于前者，如上图中A代表的模型要优于C代表的模型。
• 若模型的P-R曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。但一般来说，曲线下面积很难估算，所以衍生出了“平衡点”（Break-Event Point，简称BEP），如上图所示红色点，即当P=R时的取值，平衡点的取值越高，性能更优。

多分类问题

如果只有一个二分类混淆矩阵，则用上面的指标即可。

宏平均、维平均

如果有多个二分类的混淆矩阵（如：多次训练或者在多个数据集上训练的结果），或者是多分类问题，则就会用到综合评价指标宏平均和微平均，具体如下：

• 宏平均（macro-average）：先算出每个混淆矩阵（或每个类别）的P值和R值，然后取得平均P值macro-P和平均R值macro-R，再算出$F_{\beta }$或F1，计算公式如下:
  $$\begin{gathered} macroP=\frac{1}{n}\sum _{i=1}^n{P}_i \\ macroR=\frac{1}{n}\sum _{i=1}^n{R}_i \\ macroF1=\frac{2\times macroP\times macroR}{macroP+macroR} \end{gathered}$$

• 微平均（micro-average）： 对数据集中的每一个实例不分类别进行统计建立全局混淆矩阵，然后计算出混淆矩阵的平均TP、FP、TN、FN，构成全局混淆矩阵，然后计算P、R，进而求出$F_{\beta }$或F1，计算公式如下：
  $$\begin{gathered} microP=\frac{\overline{TP}}{\overline{TP}+\overline{FP}} \\ microR=\frac{\overline{TP}}{\overline{TP}+\overline{FN}} \\ microF1=\frac{2\times microP\times microR}{microP+microR} \end{gathered}$$

在多分类任务场景中，如果非要用一个综合考量的metric的话， 宏平均会比微平均更好一些，因为宏平均受稀有类别影响更大。宏平均平等对待每一个类别，所以它的值主要受到稀有类别的影响，而微平均平等考虑数据集中的每一个样本，所以它的值受到常见类别的影响比较大。

Kappa系数

kappa系数（简称KIA）是一种衡量分类精度的指标。KIA主要应用于比较分析两幅地图或图像的差异性是“偶然”因素还是“必然”因素所引起的，还经常用于检查卫星影像分类对于真实物判断的正确性程度。KIA是能够计算整体一致性和分类一致性的指数。 可以用KIA来进行多分类模型准确度的评估，这个系数的值越高，则代表模型实现的分类准确度越高。

kappa系数的计算方法可以这样来表示：
$$KIA=\frac{p_0-p_c}{1-p_c}$$
其中
$$\begin{gathered} p_0=\frac{{\sum }_{i=1}^n{x}_{ii}}{N} \\ {p}_c=\frac{{\sum }_{i=1}^n{x}_{i+}{x}_{+i}}{N^2} \end{gathered}$$
$x_{ii}$表示混淆矩阵中对角线上的元素，$x_{i+}$表示第$i$行所有元素之和，$x_{+i}$表示第$i$列所有元素之和，N表示所有元素之和。

$p_0$表示观测精确性或一致性单元的比例；$p_c$表示偶然性一致或期望的偶然一致的单元的比例。

kappa取值范围是[-1,1]，但通常kappa是[0,1]，一般可分为如下五组来表示不同级别的一致性：

• 0.0~0.20：极低的一致性【slight】
• 0.21~0.40：一般的一致性【fair】
• 0.41~0.60：中等的一致性【moderate】
• 0.61~0.80：高度的一致性【substantial】
• 0.81~1：几乎完全一致【almost perfect】

多分类实例

关于在房子周围可能发现的动物类型的预测，这个预测的三类问题的混淆矩阵如下所示：

从上图可以计算得到，总样本量N为96;

计算kappa系数

$$\begin{gathered} p_0=\frac{24+27+30}{96}=0.84 \\ \begin{array}{rl}{p}_c& =\frac{(24+2+5)\ast (24+2+4)+(2+27+0)\ast (2+27+2)+(5+0+30)\ast (4+2+30)}{96^2}\\ & =\frac{31\ast 30+29\ast 31+35\ast 36}{96^2}\\ & =0.34\end{array} \\ KIA=\frac{0.84-0.34}{1-0.34}=0.76 \end{gathered}$$

python实现

import numpy as np

def kappa(confusion_matrix):
	"""
	计算多分类混淆矩阵的kappa系数 
	"""
	N = np.sum(confusion_matrix)
	sum_po = 0
	sum_pe = 0
	for i in range(len(confusion_matrix[0])):
		sum_po += confusion_matrix[i][i]
		i_row = np.sum(confusion_matrix[i, :])
		i_col = np.sum(confusion_matrix[:, i]) 
		sum_pe += i_row * i_col
	po = sum_po / N
	pe = sum_pe / (N * N)
	kia = (po - pe) / (1 - pe)
	return kia

输入如下代码

confusion_matrix=np.array([[24,2,5],[2,27,0],[4,2,30]])
kia=kappa(confusion_matrix)
print("kappa系数为：",kia)

运行结果如下：

kappa系数为： 0.7649747021380774

计算宏平均、微平均

宏平均

首先将上面的多分类混淆矩阵，根据类别拆分为3个二分类的混淆矩阵，并计算出每个混淆矩阵的Precision和Recall，具体如下图所示：

则
$$\begin{gathered} macroP=\frac{0.87+0.80+0.86}{3}=0.84 \\ macroR=\frac{0.93+0.77+0.83}{3}=0.84 \\ macroF1=\frac{2\times 0.84\times 0.84}{0.84+0.84}=0.84 \end{gathered}$$

微平均

对数据集中的每一个实例不分类别进行统计建立全局混淆矩阵，然后计算出混淆矩阵的平均TP、FP、TN、FN，构成全局混淆矩阵，并计算出了P、R，进而求出F1，具体结果如下：

参考链接

分类性能指标

如果本文对你有帮助，记得“点赞”哦~