如何看ROC,LIFT,PR,KS曲线

1.ROC曲线

ROC(receiver operating characteristic)接受者操作特征,其显示的是分类器的真正率和假正率之间的关系

 

ROC曲线有助于比较不同分类器的相对性能,当FPR小于0.36时M1浩宇M2,而大于0.36是M2较好。

ROC曲线下面的面积为AUC(area under curve),其面积越大则分类的性能越好,理想的分类器auc=1。

一般AUC>0.8分类器还可以。 图来自https://blog.csdn.net/taoyanqi8932/article/details/54409314/

如何看ROC,LIFT,PR,KS曲线_第1张图片

2.P-R曲线

PR(precision recall)曲线表现的是precision和recall之间的关系

如何看ROC,LIFT,PR,KS曲线_第2张图片

当PR曲线越靠近右上方时,表明模型性能越好,与ROC曲线类似,在对不同模型进行比较时,若一个模型的PR曲线被另一个模型的PR曲线完全包住则说明后者的性能优于前者.如上图中A代表的模型要优于C代表的模型,若模型的PR曲线发生了交叉,则无法直接判断哪个模型更好.

3.LIFT曲线

Lift曲线它衡量的是,与不利用模型相比,模型的预测能力“变好”了多少,lift(提升指数)越大,模型的运行效果越好。实质上它强调的是投入与产出比。

表示“运用该模型”与“未运用该模型即随机选择”所得结果的比值,Lift应该一直大于1,且Lift(提升指数)越大,模型预测效果越好

如何看ROC,LIFT,PR,KS曲线_第3张图片

lift曲线右半部分应该尽量陡峭。

 

4.K-S曲线

从 K-S 曲线就能衍生ks值,=max(TPR-FPR)即是两条曲线之间的最大间隔距离。KS值越大表示模型 的区分能力越强。

如何看ROC,LIFT,PR,KS曲线_第4张图片

一般KS >0.2,就还可以 

你可能感兴趣的:(Machine,Learning,机器学习)