分类模型评价指标-ROC AUC

1.非均衡分类问题

不同类别的分类代价不相等。

重点:分清楚那个是positive(yes) negative(no)

例如还贷预测模型。垃圾邮件识别中,我们希望识别出所有信用坏的用户以及重要邮件(Negative),所以希望选精确率高的模型。

例如识别吸毒模型,肿瘤识别模型中,我们希望不漏判吸毒者以及阳性肿瘤患者(positive),所以选召回率高的模型。

2.ROC曲线

复习混淆矩阵
分类模型评价指标-ROC AUC_第1张图片
横坐标 FPR(false positive rate)
在这里插入图片描述
FPR越小越好

纵坐标 TPR (true positive rate)

在这里插入图片描述
TPR 越大越好

分类模型评价指标-ROC AUC_第2张图片
(0,1)FPR=0, TPR=1,全部判对
(1,1)FPR=1, TPR=1,全部样本判为positive
(1,0)FPR=1, TPR=0,全部错判
(0,0)FPR=0, TPR=0,全部样本判为negative

所以曲线越靠近左上方,模型性能越好。45度直线是benchmark 基准模型:50%的正确率。

ROC 曲线上的每一个点代表模型判断正负类的每一个阙值。

从0%-100%之间选取任意细度的阈值分别获得FPR和TPR,对应在图中,得到的ROC曲线,阈值的细度控制了曲线的阶梯程度或平滑程度。

一个没有过拟合的二分类器的ROC应该是梯度均匀的。

3.AUC

AUC 是 ROC下面的面积,一条ROC对应一个AUC 值 ,取值在[0,1]之间

AUC = 1,代表ROC曲线在纵轴上,预测完全准确。不管Threshold选什么,预测都是100%正确的。
0.5 < AUC < 1,代表ROC曲线在45度线上方,预测优于50/50的猜测。需要选择合适的阈值后,产出模型。
AUC = 0.5,代表ROC曲线在45度线上,预测等于50/50的猜测。
0 < AUC < 0.5,代表ROC曲线在45度线下方,预测不如50/50的猜测。
AUC = 0,代表ROC曲线在横轴上,预测完全不准确。

参考:https://blog.csdn.net/Orange_Spotty_Cat/article/details/80499031

4.Lift

分类模型评价指标-ROC AUC_第3张图片

Lift: [TP/(TP+FP)]/[(TP+FN)/(TP+FP+FN+TN)],预测正例的比例比上实际正例的比例

随机模型的正例比例作为分母,该模型的预测正例比例作为分子

你可能感兴趣的:(modeling,ROC,AUC)