微平均micro-F1,宏平均macro-F2计算方法
前言
F1是我们常用的衡量指标,不知道有多少同学和我一样,对micro macro一直似懂非懂,于是今天手动算了一下,分享给大家~ 相信大家看了就明白了
本文的前提是,读者已经懂了precision和recall的基本概念,不清楚的同学可以先去看一下其他的文章~
差准率(precision)和查全率(recall)
对于二分类来说,可以将标签分为正类和负类,如下图
| 真实标签 ＼ 预测标签 | 正类 | 负类 |
|---|---|---|
| 正类 | True Positive (TP) | False Negtive (FN) |
| 负类 | False Positive (FP) | True Negtive (TN) |
precision = TP / (TP + FP)
recall = TP / (TP + FN)
F1 = (precision * recall * 2) / (precesion + recall)
对于多个类别的问题来说,可以将一个多分类问题看作多个二分类问题,比如按照狗的毛色划分为黄色，白色，黑色
于是，我们可以将这个三分类问题分解为３个二分类问题，每个二分类问题的正类和负类如下表
| 序号 | 正类 | 负类 |
|---|---|---|
| １ | 黄 | 白和黑 |
| ２ | 白 | 黄和黑 |
| ３ | 黑 | 黄和白 |
因为我们有３组正类和负类，所以可以计算出三个TP 三个FP 三个FN 三个TN，然后使用micro或者macro的方法计算出一个总的F值～
计算过程
例子
sklearn中给的例子如下图 ,可以看出macro F1为0.26,micro F1 为0.33, weighted F1 为0.26
-
>>> from sklearn.metrics import f1_score -
>>> y_true = [0, 1, 2, 0, 1, 2] -
>>> y_pred = [0, 2, 1, 0, 0, 1] -
>>> f1_score(y_true, y_pred, average='macro') -
0.26... -
>>> f1_score(y_true, y_pred, average='micro') -
0.33... -
>>> f1_score(y_true, y_pred, average='weighted') -
0.26... -
>>> f1_score(y_true, y_pred, average=None) -
array([0.8, 0. , 0. ])
下面我们手动算一下,看看这几个数字是怎么得出来的
macro
首先我们来手动计算macro F1值
以label 0作为正类,label 1和label 2作为负类, 所对应的TP FN FP TN如下表
| 真实标签 ＼ 预测标签 | 正类(label 0) | 负类(label 1 和 label 2) |
|---|---|---|
| 正类(label 0) | 2 (TP) | 0 (FN) |
| 负类(label 1 和 label 2) | 1 (FP) | 3 (TN) |
那么这个表对应的P和R以及F1为:
P = 2 / ( 2 + 1) = 2 / 3
R = 2 / (2 + 0) = 1
F1 = (P * R * 2) / (P + R) = 0.8
以label 1作为正类,label 0和label 2作为负类, 所对应的TP FN FP TN如下表
| 真实标签 ＼ 预测标签 | 正类(label 1) | 负类(label 0 和 label 2) |
|---|---|---|
| 正类(label 1) | 0 (TP) | 2 (FN) |
| 负类(label 0 和 label 2) | 2 (FP) | 2 (TN) |
那么这个表对应的P和R以及F1为:
P = 0 / ( 0 + 2) = 0
R = 0 / (0 + 2) = 0
F1 = 0
以label 2作为正类,label 0和label 1作为负类, 所对应的TP FN FP TN如下表
| 真实标签 ＼ 预测标签 | 正类(label 0) | 负类(label 1 和 label 2) |
|---|---|---|
| 正类(label 0) | 0 (TP) | 2 (FN) |
| 负类(label 1 和 label 2) | 1 (FP) | 4 (TN) |
那么这个表对应的P和R以及F1为:
P = 0 / ( 0 + 1) = 0
R = 0 / (0 + 2) = 0
F1 = 0
macro F1 为上述三个F1值的算数平均数,所以
macro-F1 = (0.8 + 0 + 0) / 3 = 0.26...
这个结果和sklearn中返回的结果一致~
weighted F1值
由于macro F1为多个F1值的算数平均数,当样本不平衡的时候,macro F1会给所有类赋予相同的权重(在sklearn给的上述例子中就是都赋予1 / 3的权重)
在样本不平衡的时候,有时我们希望根据每个类别的样本数量,给不同的类赋予不同的权重,这就是weighted-F1,例如,假设一共有3个类,它们对应的数量分别为10,5,2
那么,在计算总的F1的时候,我们希望给三个类别的F1值赋予的权重为 10 / 17, 5 / 17, 2 / 17,于是,计算总F1的时候,将会把更多的权重给样本数量多的类.
在sklearn示例代码给的例子中,可以发现label 0,label 1, label 2对应的数量均为2,所以采用macro和weight方式计算的F1值都一样,为0.26
micro F1值
micro采用的方式为,
- 将三个表格中的所有TP相加,得到总TP = 2 + 0 + 0 = 2
- 将三个表格中的所有FN相加,得到总FN = 0 + 2 + 2 = 4
- 将三个表格中的所有FP相加,得到总FP = 1 + 2 + 1 = 4
总P = 总TP / (总TP + 总FP) = 2 / (2 + 4) = 1 / 3
总R = 总TP / (总TP + 总FN) = 2 / (2 + 4) = 1 / 3
总F1 = (总P * 总R * 2) / (总P + 总R) = 1 / 3 = 0.33...
这与sklearn给的结果一致~
宏平均和微平均的对比
- 如果每个class的样本数量差不多,那么宏平均和微平均没有太大差异
- 如果每个class的样本数量差异很大,而且你想:
- 更注重样本量多的class:使用宏平均
- 更注重样本量少的class:使用微平均
- 如果微平均大大低于宏平均,检查样本量多的class
- 如果宏平均大大低于微平均,检查样本量少的class
https://blog.csdn.net/u011534057/article/details/54845298
https://blog.csdn.net/u014665013/article/details/80545180