西瓜书

1.模型评估与选择

1.1 ROC与AUC

ROC的横轴为真正例率TPR，纵轴为假正例率FPR
定义为：，
ROC曲线的画法为：
给定个正例和个反例。根据学习器的预测结果对样例进行排序（即每个样本为正例的概率），然后把分类阈值调最大，即把所有样例均预测为反例，画出(0,0)点。之后依次按照每个样本的概率从大到小调整阈值，分别计算TPR和FPR，作出整个ROC曲线如下图。

可以看出，AUC的取值范围为[0.5,1]，越接近1，检测方法准确率越高，越接近0.5，则真实性越低，无使用价值。