分类评价指标accuracy、precision、recall、F1-score、ROC、AUC、PR-AUC

混合矩阵.png

1.accuracy: 准确率

2.precision：精确率，所有预测为正例样本中真正的正例样本有多少

3.recall：召回率，所有正例样本中预测为正例样本有多少

4.F1-score：F1值，又称调和平均数，公式(2)和(3)中反应的precision和recall是相互矛盾的，当recall越大时，预测的覆盖率越高，这样precision就会越小，反之亦然，通常，使用F1-score来调和precision和recall，

5.ROC：全称Receiver Operating Characteristic曲线，常用于评价二分类的优劣

有了accuracy还要计算ROC，是因为在实际的分类样本中，往往会出现样本偏差的情况，假如一个样本集中，正例、负例样本各占10%、90%，这种情况下，即使把正例和负例样本全部预测为负例，accuracy = 90%，准确率依然很高，所以accuracy在这种情况下不能正确反映分类情况
坐标轴

• X轴叫做False Positive Rate(FPR)， 表示负样例被预测为正例的比率(0-1)，也叫做误纳率；
• Y轴叫做True Positive Rate(TPR)，表示正样例被预测为正例的比率(0-1)，1-TPR叫做误拒率。
  坐标图上四个点(0, 0)、(0, 1)、(1, 0)、(1, 1)
• (0, 0)，即FPR = 0，TPR = 0，正例样本和负例样本全部被预测为负例，原因是阈值太高；
• (0, 1)，即FPR = 0，TPR = 1，正例样本全部被预测为正例，负例样本全部被预测为负例，是最理想的分类情况；
• (1, 0)，即FPR = 1，TPR = 0，正例样本全部被预测为负例，负例样本全部被预测为正例，是最差的情况；
• (1, 1)，即FPR = 1，TPR = 1，正例样本和负例样本全部被预测为正例，原因是阈值太低。
  绘制ROC曲线，通过选取不同的阈值计算响应的(FPR, TPR)的值，每一对值在坐标上都是一个点，把这些不同的点连接起来就是ROC曲线。可以知道，阈值选取的越多，分布越均匀，对应的ROC曲线越平滑。最理想的阈值对应于ROC曲线离坐标(0, 1)最近的点。

6.AUC：全称Area Under Curve，被定义为ROC曲线下的面积，取值范围在0.5到1之间

由于ROC在很多情况下不能说明哪个分类器更好，而AUC是一个数值，反映的ROC曲线的面积，数值越大，对应的分类器越好。

7.PR-AUC：即以Precision和Recall为坐标轴，选取不同的阈值画线， AUC即曲线的面积，面积越大，Precision和Recall都越接近1，模型就越理想。

参考：

• 精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
• ROC和AUC介绍以及如何计算AUC