马修斯相关系数(Matthews correlation coefficient)更适合类别不平衡问题的模型结果评价

一般常见指标是F1-score、precision、recall、roc、auc、accuracy,但他们存在的最大问题是,没有考虑TN
马修斯相关系数(Matthews correlation coefficient)更适合类别不平衡问题的模型结果评价_第1张图片
上面这个例子中对应的精确率和召回率如下:

Precision = TP/(TP+FP) = 18/(18+3) = 0.86
Recall = TP/(TP+FN) = 18/(18+2) = 0.90
F1 = 2 * (Precision*Recall/Precision+Recall) = 0.88

但使用马修斯相关系数来计算:
在这里插入图片描述
在这里插入图片描述

需要注意的是,在上面的计算公式中,分母中任意一对括号相加之和如果为0,那么整个MCC的值就为0。

在python中,scikit-learn模块包含MCC计算的函数

 from sklearn.metrics import matthews_corrcoef
 y_true = [+1, +1, +1, -1]
 y_pred = [+1, -1, +1, +1]
 matthews_corrcoef(y_true, y_pred)

马修斯相关系数(Matthews correlation coefficient)更适合类别不平衡问题的模型结果评价_第2张图片

  • 参考文档
  1. https://cloud.tencent.com/developer/article/1975817
  2. https://qinqianshan.com/machine_learning/sklearn/clustering-performance-evaluation/
  3. https://www.cnblogs.com/qiu-hua/p/14905473.html

你可能感兴趣的:(数据挖掘,人工智能)