[ML] 性能评估指标2---ROC-AUC

1. ROC曲线的横纵坐标分别是什么？

roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。

ROC曲线的横轴：
负正类率(false postive rate FPR)特异度，划分实例中所有负例占所有负例的比例；(1-Specificity)
预测为正样本但是实际为负样本的数目占所有负样本的数目的比例
ROC 纵轴：
真正类率(true postive rate TPR)灵敏度，Sensitivity(正类覆盖率)
预测为正样本实际也为正样本的数目 占 所有正样本数目的比例

ROC曲线是显示Classification模型真正率和假正率之间折中的一种图形化方法。

解读ROC图的一些概念定义:：
真正（True Positive , TP）被模型预测为正的正样本；
假负（False Negative , FN）被模型预测为负的正样本；
假正（False Positive , FP）被模型预测为正的负样本；
真负（True Negative , TN）被模型预测为负的负样本。

真正率（True Positive Rate , TPR）或灵敏度（sensitivity）
TPR = TP /（TP + FN） （正样本预测结果数 / 正样本实际数）
假负率（False Negative Rate , FNR）
FNR = FN /（TP + FN） （被预测为负的正样本结果数 / 正样本实际数 ）
假正率（False Positive Rate , FPR）
FPR = FP /（FP + TN） （被预测为正的负样本结果数 /负样本实际数）
真负率（True Negative Rate , TNR）或特指度（specificity）
TNR = TN /（TN + FP） （负样本预测结果数 / 负样本实际数）

目标属性的被选中的那个期望值称作是“正”（positive）

2. AUC

在统计和机器学习中，常常用AUC来评估二分类模型的性能。AUC的全称是 area under the curve，即曲线下的面积。 通常这里的曲线指的是受试者操作曲线(Receiver operating characteristic, ROC)。 相比于准确率、召回率、F1值等依赖于判决阈值的评估指标，AUC则没有这个问题。

一个关于AUC的很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score。

计算方法：https://blog.csdn.net/pzy20062141/article/details/48711355

深入了解AUC的博客：https://tracholar.github.io/machine-learning/2018/01/26/auc.html