机器学习中分类问题的四大评价指标和ROC曲线

---

前言

我们知道机器学习分为回归问题和分类问题；同时，评价指标在模型训练和评价中占据着举足轻重的地位；本文主要介绍分类问题常见的四个评价指标，accuracy，precision， recall 和f1-score。在明确以上四个评价指标的定义和用途之前，我们需要知道四个概念；在二分类问题中，TP 是测试集上的样本为positive（正），我们的模型代入该测试集样本预测仍为正；TN 是测试集上的样本为negative（负），我们的模型代入该测试集样本预测仍为负；FP 是测试集上的样本为negative（负），我们的模型代入该测试集样本预测为正；FN 是测试集上的样本为positive（正），我们的模型代入该测试集样本仍为negative（负）；我们接下来用这四个指标来引入accuracy，precision，recall，f1-score和ROC图的定义和用途。

一、accuracy

含义：在测试集上，预测对的样本占总样本的比例
公式：accuracy = (TP + TN)/(TP + TN + FP + FN)

二、precision

含义：在测试集上，预测对的正样本占总的预测为正样本的比例
公式：precision = TP/(TP + FP)
应用：只关注模型对负样本的预测能力；分值越高，对负样本辨别能力越强。

三、recall

含义：在测试集上，预测对的正样本占总的本身标签为正样本的比例
公式：recall = TP/(TP + FN)
应用：只关注模型对正样本的预测能力；分值越高，对正样本辨别能力越强。

四、f1-score

含义：在测试集上，模型对正负样本的综合预测能力
公式：f1-score = 2 * precision * recall/(precision + recall)
应用：关注模型的综合预测能力；分值越高，模型越稳健。

五、ROC图（Receiver Operating Characteristic）

含义：在测试集上，比较不同模型的性能
图像组成：纵轴为Recall（也叫True Positive Rate），横轴为 False Positive Rate；
其中， Recall 公式即为标题三里的计算公式，用来衡量所有正样本中被预测对的比例；
False Positive Rate = FP/ (FP + TN)， 用来衡量所有负样本中被预测错的比例
ROC形成过程为，每预测一个测试样本，分别计算Recall 和 False Positive Rate，并在图上画点，预测完所有样本，最终绘制出ROC曲线图
应用：比较不同模型的性能；如果模型A的ROC曲线包裹住模型B的ROC曲线，我们可以得出模型A的性能优于模型B的性能

---

总结

以上就是对分类问题四个指标和ROC图的总结，如果你对回归问题的评价指标感兴趣，请看姊妹篇机器学习回归问题评价指标