多分类模型的评价指标

基础符号

记

• True Positive (TP)：把正样本成功预测为正。
• True Negative (TN)：把负样本成功预测为负。
• False Positive (FP)：把负样本错误地预测为正。
• False Negative (FN)：把正样本错误的预测为负。

查准率Precision为
$$P=\frac{TP}{TP+FP}，$$
查全率/召回率Recall为
$$R=\frac{TP}{TP+FN}。$$
而
$$F_1=\frac{2\times P\times R}{P+R}，$$
即P和R的调和均值
$$\frac{1}{F_1}=\frac{1}{2}(\frac{1}{P}+\frac{1}{R})，$$

对多分类模型，可以采用macro-F1（宏F1值）、micro-F1（微F1值）、正确率（Accuracy）和G-mean（几何平均，geometric mean）等。

宏F1（macro-F1）

其中，
$$\text{macro-}P=\frac{1}{n}\sum _{i=1}^n{P}_i，\text{macro-}R=\frac{1}{n}\sum _{i=1}^n{R}_i，$$
且
$$\text{macro-}{F}_1=\frac{2\times \text{macro-}P\times \text{macro-}R}{\text{macro-}P+\text{macro-}R}。$$
此外，宏F1也有另外一种计算方式
$$\text{macro-}{F}_1=\frac{1}{n}\sum _{i=1}^n{F}_i$$
这两种方式的使用一直存在争议，在sklearn的包中，使用的是第二种方式。

微F1（micro-F1）

其中，
记TP、FP、TN、FN的平均值为$\overline{TP}$、$\overline{FP}$、$\overline{TN}$、$\overline{FN}$，
有
$$\text{micro-}P=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}，\text{micro-}R=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}$$
且
$$\text{micro-}{F}_1=\frac{2\times \text{micro-}P\times \text{micro-}R}{\text{micro-}P+\text{micro-}R}。$$
其实，
$$\text{micro-}P=\frac{\frac{1}{n}{\sum }_{i}T{P}_i}{\frac{1}{n}{\sum }_{i}T{P}_i+\frac{1}{n}{\sum }_{i}F{P}_i}=\frac{{\sum }_{i}T{P}_i}{{\sum }_{i}T{P}_i+{\sum }_{i}F{P}_i}，$$
而
$$\text{micro-}R=\frac{\frac{1}{n}{\sum }_{i}T{P}_i}{\frac{1}{n}{\sum }_{i}T{P}_i+\frac{1}{n}{\sum }_{i}F{N}_i}=\frac{{\sum }_{i}T{P}_i}{{\sum }_{i}T{P}_i+{\sum }_{i}F{N}_i}=Accuracy，$$
且
$$\text{micro-}{F}_1=\text{micro-}P=\text{micro-}R=Accuracy。$$
以后看到Accuracy指标也就知道是指微F1指标。

准确率（Accuracy）

准确率等于微F1值，同时等于微GM1。

几何平均（G-mean)

几何平均$\text{G-mean}(x,y)=\sqrt{xy}$，因此在使用时需要特别注明是哪两个指标值的几何平均。一般来说，有2种G-mean计算方式，

G-mean1: it is the geometric mean of sensitivity (also called hit rate or recall) and precision. 即
$$G{M}_1=\sqrt{R\cdot P}，$$
一般用来求宏GM，对于微GM其值依旧等于Accuracy。

G-mean2: it is the geometric mean of sensitivity and specificity.

这个在医学上可能会见到，specificity measures how much a classifier can recognize negative examples，定义为
$$spec=\frac{TN}{TN+FP}，$$
而
$$G{M}_2=\sqrt{R\cdot spec}。$$

Reference

《机器学习》周志华 著，清华大学出版社
#机器学习 Micro-F1和Macro-F1详解
多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨
Espíndola, Rogério & Ebecken, Nelson. (2005). On extending f-measure and g-mean metrics to multi-class problems. Sixth international conference on data mining, text mining and their business applications. 35. 25-34.