微平均micro,宏平均macro计算方法

前言

F1是我们常用的衡量指标,不知道有多少同学和我一样,对micro macro一直似懂非懂,于是今天手动算了一下,分享给大家~ 相信大家看了就明白了

本文的前提是,读者已经懂了precision和recall的基本概念,不清楚的同学可以先去看一下其他的文章~

查准率(precision)和查全率(recall)

对于二分类来说,可以将标签分为正类和负类,如下图

真实标签 ＼ 预测标签	正类	负类
正类	True Positive (TP)	False Negtive (FN)
负类	False Positive (FP)	True Negtive (TN)

precision = TP / (TP + FP)

recall = TP / (TP + FN)

F1 = (precision * recall * 2) / (precesion + recall)

对于多个类别的问题来说,可以将一个多分类问题看作多个二分类问题,比如按照狗的毛色划分为黄色，白色，黑色
于是，我们可以将这个三分类问题分解为３个二分类问题，每个二分类问题的正类和负类如下表

序号	正类	负类
１	黄	白和黑
２	白	黄和黑
３	黑	黄和白

因为我们有３组正类和负类，所以可以计算出三个TP 三个FP 三个FN 三个TN，然后使用micro或者macro的方法计算出一个总的F值～

计算过程

例子

sklearn中给的例子如下图 ,可以看出macro F1为0.26,micro F1 为0.33, weighted F1 为0.26

>>> from sklearn.metrics import f1_score
>>> y_true = [0, 1, 2, 0, 1, 2]
>>> y_pred = [0, 2, 1, 0, 0, 1]
>>> f1_score(y_true, y_pred, average='macro')  
0.26...
>>> f1_score(y_true, y_pred, average='micro')  
0.33...
>>> f1_score(y_true, y_pred, average='weighted')  
0.26...
>>> f1_score(y_true, y_pred, average=None)
array([0.8, 0. , 0. ])

下面我们手动算一下,看看这几个数字是怎么得出来的

macro

首先我们来手动计算macro F1值

以label 0作为正类,label 1和label 2作为负类, 所对应的TP FN FP TN如下表

真实标签 ＼ 预测标签	正类(label 0)	负类(label 1 和 label 2)
正类(label 0)	2 (TP)	0 (FN)
负类(label 1 和 label 2)	1 (FP)	3 (TN)

那么这个表对应的P和R以及F1为:
P = 2 / ( 2 + 1) = 2 / 3
R = 2 / (2 + 0) = 1
F1 = (P * R * 2) / (P + R) = 0.8

以label 1作为正类,label 0和label 2作为负类, 所对应的TP FN FP TN如下表

真实标签 ＼ 预测标签	正类(label 1)	负类(label 0 和 label 2)
正类(label 1)	0 (TP)	2 (FN)
负类(label 0 和 label 2)	2 (FP)	2 (TN)

那么这个表对应的P和R以及F1为:
P = 0 / ( 0 + 2) = 0
R = 0 / (0 + 2) = 0
F1 = 0

以label 2作为正类,label 0和label 1作为负类, 所对应的TP FN FP TN如下表

真实标签 ＼ 预测标签	正类(label 0)	负类(label 1 和 label 2)
正类(label 0)	0 (TP)	2 (FN)
负类(label 1 和 label 2)	1 (FP)	3 (TN)

那么这个表对应的P和R以及F1为:
P = 0 / ( 0 + 1) = 0
R = 0 / (0 + 2) = 0
F1 = 0

macro F1 为上述三个F1值的算数平均数,所以
macro-F1 = (0.8 + 0 + 0) / 3 = 0.26...
这个结果和sklearn中返回的结果一致~

weighted F1值

由于macro F1为多个F1值的算数平均数,当样本不平衡的时候,macro F1会给所有类赋予相同的权重(在sklearn给的上述例子中就是都赋予1 / 3的权重)
在样本不平衡的时候,有时我们希望根据每个类别的样本数量,给不同的类赋予不同的权重,这就是weighted-F1,例如,假设一共有3个类,它们对应的数量分别为10,5,2
那么,在计算总的F1的时候,我们希望给三个类别的F1值赋予的权重为 10 / 17, 5 / 17, 2 / 17,于是,计算总F1的时候,将会把更多的权重给样本数量多的类.

在sklearn示例代码给的例子中,可以发现label 0,label 1, label 2对应的数量均为2,所以采用macro和weight方式计算的F1值都一样,为0.26

micro F1值

micro采用的方式为,

• 将三个表格中的所有TP相加,得到总TP = 2 + 0 + 0 = 2
• 将三个表格中的所有FN相加,得到总FN = 0 + 2 + 2 = 4
• 将三个表格中的所有FP相加,得到总FP = 1 + 2 + 1 = 4

总P = 总TP / (总TP + 总FP) = 2 / (2 + 4) = 1 / 3
总R = 总TP / (总TP + 总FN) = 2 / (2 + 4) = 1 / 3
总F1 = (总P * 总R * 2) / (总P + 总R) = 1 / 3 = 0.33...
这与sklearn给的结果一致~

希望对大家有帮助~ 有不明白的地方的话,欢迎在评论区提问