随笔系列之- ROC And AUC

关于ROC与AUC的一点点介绍

ROC Receiver Operating Characteristics

ROC是一种曲线用于描述二分类判别器对不同的threshold的曲线;用于表达判别器的分类能力;
其主要有两个指标:TPR和FPR,根据这两个值(不同的threshold有不同的值)来绘制曲线;

• TPR : True Positive Rate
  
  TPR=TPTP+FN T P R = T P T P + F N
  
  也就是预测positive中的真实positive的概率,也叫recall,召回率.
• FPR : False Positive Rate
  
  FPR=FPFP+TN F P R = F P F P + T N
  
  也就是预测negative中错误的negative的概率,也叫fall-out

AUC Area Under the Curve

AUC:通常来说指的是Area Under the Curve Of ROC
放一张AUC与ROC的图片,供直觉上认识:

其中,对角的斜线表示的是random guess的判别模型的的ROC曲线;那么在对角线之上的说明模型的判别效果比随机猜测要好!而在对角线之下的则说明其判别能力还不如随机猜测.如此便可以使用AUC来判断一个二分类模型的判别能力.

• 一点点补充:使用ROC-AUC度量与Log Loss的不同,在于前者只关心分类的结果,而不在乎你的损失值,也就是自信度,而后者则可以调整模型的最终的分布来达到降低log loss的目的.