机器学习-多分类的性能评价指标及其含义（查全率、查准率、F1-score、混淆矩阵）

分类算法的性能度量是指对分类算法的泛化性能评估，是衡量模型泛化能力的评价标准，泛化性能评价指标可以定量的评价泛化性能优劣。

常用的一些指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1-score等。

下面以二分类问题为例介绍分类算法的性能评价指标。

二分类性能度量

我们以西瓜好坏的预测为例，正例：好瓜，反例：坏瓜，对于二分类问题，将样本依据真实的类别和分类器的预测列别进行组合，可分为四种情况：

TP、FN、FP、TN的读法

TP（true positive）：正确地预测为正例的样本数，将正例预测为正例的样本数；

FN（false negative）：错误地预测为反例的样本数，将正例预测为反例的样本数；

FP（false positive）：错误地预测为正例的样本数，将反例预测为正例的样本数；

TN（true nagative）：正确地预测为反例的样本数，将反例预测为反例的样本数；

true、false表示预测结果的正确与错误，positive、negative表示实际样本的正例与反例。

错误率和准确率

错误率（error rate）是指分类错误的样本数占总样本数的比例；

$errorrate=\frac{FN+FP}{TP+FN+FP+TN}$

准确率是指分类正确的样本数占总样本数的比例。

$accuarcy=\frac{TP+TN}{TP+FN+FP+TN}$

查准率

查准率，也叫精确率（precision），预测命中率等。

表示所有预测为正例的样本中实际是正例的样本数所占的比例，即正确地预测为正例的样本数$÷$预测为正例的样本总数。

$P=\frac{TP}{TP+FP}$

查全率

查全率，也叫召回率（recall），预测召回率等。

表示所有实际正例的样本中预测为正例的样本数所占的比例，即正确地预测为正例的样本数$÷$实际正例的样本总数。

$R=\frac{TP}{TP+FN}$

F1-score

F1-score是基于查准率与查全率的调和平均（harmonic mean）。

$F1=\frac{2\times P\times R}{P+R}$

多分类性能度量

假设多分类类别数目为$n$。

多分类场景下度量查准率与查全率时，考虑将多分类问题简化为二分类问题即可得到类似二分类的混淆矩阵。

例如，当我们观察某个类别$i$时，将其余的$n-i$个类别看作是二分类中的反例，这样我们就可以计算出类别$i$的$T{P}_i、F{N}_i、F{P}_i、T{N}_i$。

通过上述的方法，我们可以得到$n$个二分类的混淆矩阵，对$n$个二分类的混淆矩阵进行计算可得到准确率、错误率、查准率和查全率。

错误率和准确率

这里考虑多分类时，由于我们之前定义的混淆矩阵是按照$n$个二分类进行计算，得到每个类别$i$的$T{P}_i、F{N}_i、F{P}_i、T{N}_i$。

举个例子，有四个分类，混淆矩阵为：

预测分类		1	2	3	4
真	1	$T_1{P}_1$	$F_1{P}_2$	$F_1{P}_3$	$F_1{P}_4$
实	2	$F_2{P}_1$	$T_2{P}_2$	$F_2{P}_3$	$F_2{P}_4$
分	3	$F_3{P}_1$	$F_3{P}_2$	$T_3{P}_3$	$F_3{P}_4$
类	4	$F_4{P}_1$	$F_4{P}_2$	$F_4{P}_3$	$T_4{P}_4$

其中，$F_j{P}_i$可读作将真实的分类$j$错误地预测为分类$i$，则

$F{P}_i=\sum _{j=1,j\ne i}^4{F}_j{P}_i$；

$T{P}_i=T_i{P}_i$读作将真实的分类$i$正确地预测为分类$i$。

$F{N}_i$读作：错误地将真实分类$i$预测为其他分类；$F{N}_i=\sum _{j=1,j\ne i}^n{F}_i{P}_j$。

此时，如果混淆矩阵为正方形时，样本总数为$\sum _{i=1}^{n}T{P}_i+F{P}_i$，也等于$\sum _{i=1}^{n}T{P}_i+F{N}_i$。

而不再是类似二分类中的$\sum _{i=1}^{n}T{P}_i+F{N}_i+F{P}_i+T{N}_i$的累加和。

从上图混淆矩阵中可以直观地看出，$T{P}_i$为按列统计预测错误的样本数，$F{N}_i$为按行统计预测错误的样本数。

错误率（error rate）是指分类错误的样本数占总样本数的比例；

$errorrate=\frac{\sum _{i=1}^{n}F{P}_i}{\sum _{i=1}^{n}T{P}_i+F{P}_i}$

准确率是指分类正确的样本数占总样本数的比例。

$accuarcy=\frac{\sum _{i=1}^{n}T{P}_i}{\sum _{i=1}^{n}T{P}_i+F{P}_i}$

macro度量

根据计算方法的不同，可将多分类的度量分为macro方式和micro方式。

先在$n$个二分类的混淆矩阵上计算出查准率和查全率，再计算平均查准率和平均查全率。

可见，macro是基于类别的加权平均，每个类别的权重相同。

macro查准率

正确地预测为类别$i$的样本数$÷$预测为类别$i$的样本总数（预测命中率）

$P_i=\frac{T{P}_i}{T{P}_i+F{P}_i}$

则，$macro-P=\frac{1}{n}\sum _{i=1}^n{P}_i$

其中，$T{P}_i$读作：正确地预测为分类$i$；

$F{P}_i$读作：错误地将其他分类预测为分类$i$的样本数。

且，$T{P}_i=T_i{P}_i$，$F{P}_i=\sum _{j=1,j\ne i}^n{F}_j{P}_i$；

$T_i{P}_i$读作：正确地将真实分类$i$预测为分类$i$；

$F_j{P}_i$读作：错误地将真实分类$j$预测为分类$i$。

macro查全率

正确地预测为类别$i$的样本数$÷$类别$i$的实际样本数（预测召回率）

$R_i=\frac{T{P}_i}{T{P}_i+F{N}_i}$

则，$macro-R=\frac{1}{n}\sum _{i=1}^n{R}_i$

其中，$F{N}_i$读作：错误地将真实分类$i$预测为其他分类。

且，$F{N}_i=\sum _{j=1,j\ne i}^n{F}_i{P}_j$；

$F_i{P}_j$读作：错误地将真实分类$i$预测为分类$j$。

macroF1-score

macroF1-score有两种计算公式：

1. 基于$macro-P$和$macro-R$的按照公式直接计算：

   $macro-F1=\frac{2\times macro-P\times macro-R}{macro-P+macro-R}$

2. 基于$P_i$和$R_i$的$F{1}_i$的平均：

   $F{1}_i=\frac{2\times P_i\times R_i}{P_i+R_i}$

   $macro-F1=\frac{1}{n}\times \sum _{i=1}^{n}F{1}_i$

micro度量

先将$n$个二分类的混淆矩阵的四个元素进行平均，得到$\overline{TP}$、$\overline{FN}$、$\overline{FP}$、$\overline{TN}$，然后再计算平均查准率和平均查全率。

可见，micro是基于样本数的加权平均，每个样本的权重相同。

$\overline{TP}=\frac{1}{n}\sum _{i=1}^{n}T{P}_i$

$\overline{FP}=\frac{1}{n}\sum _{i=1}^{n}F{P}_i$

$\overline{FN}=\frac{1}{n}\sum _{i=1}^{n}F{N}_i$

$\overline{TN}=\frac{1}{n}\sum _{i=1}^{n}T{N}_i$

micro查准率

$micro-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}=\frac{\sum _{i=1}^{n}T{P}_i}{\sum _{i=1}^{n}T{P}_i+\sum _{i=1}^{n}F{P}_i}$

micro查全率

$micro-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}=\frac{\sum _{i=1}^{n}T{P}_i}{\sum _{i=1}^{n}T{P}_i+\sum _{i=1}^{n}F{N}_i}$

microF1-score

$micro-F1=\frac{2\times micro-P\times micro-R}{micro-P+micro-R}$

根据之前的分析，如果混淆矩阵为正方形时，样本总数为$\sum _{i=1}^{n}T{P}_i+F{P}_i$，也等于$\sum _{i=1}^{n}T{P}_i+F{N}_i$；

因此，当混淆矩阵为正方形时，有$micro-P=micro-R=micro-F1$。

当混淆矩阵为长方形时，虽然$\sum _{i=1}^{n}F{P}_i=\sum _{i=1}^{n}F{N}_i$，这里$n$为支持的分类数。

但是我们在计算查准率和查全率的分母时，分类数应该取真实样本的分类数$n^{\prime }$，此时$n\ne n^{\prime }$。

举个混淆矩阵为长方形的例子，支持三个分类，混淆矩阵为：

预测分类		1	2	3
真实	1	$T_1{P}_1$=27	$F_1{P}_2$=1	$F_1{P}_3$=17
分类	2	$F_2{P}_1$=0	$T_2{P}_2$=8	$F_2{P}_3$=5

这里，$n=3$，$n^{\prime }=2$，

$\overline{TP}=\frac{1}{n}\sum _{i=1}^{n^{\prime }}T{P}_i=\frac{1}{n}(T_1{P}_1+T_2{P}_2)=\frac{1}{n}\times (27+8)=\frac{1}{n}\times 35$

$\overline{FP}=\frac{1}{n}\sum _{i=1}^{n^{\prime }}F{P}_i=\frac{1}{n}(F_2{P}_1+F_1{P}_2)=\frac{1}{n}\times (0+1)=\frac{1}{n}\times 1$

$\overline{FN}=\frac{1}{n}\sum _{i=1}^{n^{\prime }}F{N}_i=\frac{1}{n}(F_1{P}_2+F_1{P}_3+F_2{P}_1+F_2{P}_3)=\frac{1}{n}\times (1+17+0+5)=\frac{1}{n}\times 23$

$micro-P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}=\frac{\sum _{i=1}^{n^{\prime }}T{P}_i}{\sum _{i=1}^{n^{\prime }}T{P}_i+\sum _{i=1}^{n^{\prime }}F{P}_i}=\frac{35}{35+1}=0.972222222$

$micro-R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}=\frac{\sum _{i=1}^{n^{\prime }}T{P}_i}{\sum _{i=1}^{n^{\prime }}T{P}_i+\sum _{i=1}^{n^{\prime }}F{N}_i}=\frac{35}{35+23}=0.603448276$