机器学习-ROC曲线&AUC

ROC曲线有这样一个很好的特性：当测试集中正负样本的分布变化的时候，ROC曲线能够保持不变。

一个关于AUC的很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。这个等价关系的证明在下面给出。而Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score

如何理解呢？

自己的理解是：观察ROC曲线图，考虑横轴（假正例率）的变换，我们知道ROC曲线的构成原理是每次更新阈值（当然阈值就直接选用模型给出每个样本的预测score），为了直观，暂不考虑score相同的情况，则对于坐标点（x,y），更新一次阈值，如果下一个样本是TP，那么坐标变为（x,y+1/|P|)，其中|P|为样本中中的正例数，这样其实ROC曲线下面积是不改变的；同样的，如果下一个样本是FP，则坐标变为(x+1/|N|,y)，其中|N|是样本中负例数，这时ROC曲线面积就会增加y*1/|N|，其实增加的就是对于作为阈值的那个样例（这是个负例）所对应的总样本集合中能够score大于它的正例数（也就是合格的正负例pair【合格是正例score大于负例score】），【补充，不妨我们将真正例率看成真正例数】；

这里对于面积的理解，更好的是从反面理解，就是对于上面所说的阈值更新时，我们看ROC曲线上面部分，看由更新了一个FP时组成的ROC曲线上方组成的矩形，可以想象此时阈值下，还有这么多未被识别成正例的正例，它们就是因为得分低于该阈值对应的负例而被识别成负例（FN），所以面积可想是正负例pair不合格的数目了。

上面是自己的理解，根据严谨，喜欢公式推导的同学可以看看下面链接的文章，证明了AUC和Wilcoxon-Mann-Witney Test在形式上是等价的，挺漂亮的也。

链接：理解 ROC 和 AUC

关于score一样的情况，不想再想了，有哪位小伙伴有好的想法可以在评论区分享( •̀ ω •́ )✌