监督学习分类问题常用的评判标准

一、ROC曲线、AUC、Precision、Recall以及F-measure
二分类问题的预测结果可能正确，也可能不正确。结果正确存在两种可能：原本对的预测为对，原本错的预测为错；结果错误也存在两种可能：原本对的预测为错，原本错的预测为对，如Fig 1左侧所示。其中Positives代表预测是对的，Negatives代表预测是错的，True代表原本为对，False代表原本为错。如何评价两个二分类模型的好坏呢？二分类模型的理想状态是什么呢？
首先回答第二个问题，理想的二分类模型能将原本是对的预测为对，原本是错的预测为错。一般情况下，我们很难收集到完备的“原本是对的，原本是错的”数据集，也就是说，通常情况下我们获得是完备的“原本是对的，原本是错的”数据集的一个子集。因此，评价二分类模型的优劣就是在该子集上进行的。我们希望在该子集上对二分类模型的评价是无偏的，也就是说，在概率上保证在该子集上对二分类模型的评价与在完备集上的评价一致。
针对第一个问题，其实很简单，数数就行了。数数原本是对的预测为对的个数，原本是错的预测为错的个数，原本是对的预测为错的比例，原本是错的预测为对的比例（评价二分类问题的四个基本元素，后续评价指标都是在此基础上做出的）。评价一个模型的好坏用四个参数是不是有点不太直观哦，要是只有一个评价指标，如果一个模型的这指标比别的模型大，那这个模型就比别的模型好（或者反过来，一个模型的这指标比别的模型小，那这个模型比别的模型好），该多好哦！哈哈！

precision的含义是：预测为对的当中，原本为对的比例（越大越好，1为理想状态）
recall的含义是：原本为对的当中，预测为对的比例（越大越好，1为理想状态）
F-measure的含义是：用precision和recall两个指标不直观（任性），索性把他们合并为一个，这就是F-measure（越大越好，1为理想状态，此时precision为1，recall为1）
accuracy的含义是：预测对的（包括原本是对预测为对，原本是错的预测为错两种情形）占整个的比例（越大越好，1为理想状态）
fp rate的含义是：原本是错的预测为对的比例（越小越好，0为理想状态）
tp rate的含义是：原本是对的预测为对的比例（越大越好，1为理想状态）
ROC曲线的含义是：得到算法的一组（fp rate， tp rate）然后做出的曲线（没办法用大小来衡量，不开心，因此有了AUC），如Fig 2所示
AUC的含义：ROC曲线下的面积（越大越好，1为理想状态）

Fig 2 ROC曲线示意图
二、上述评价评价指标的有趣特性
1） 实际中应用测试数据集可能存在以下三种情况之一：原本是对的与原本是错的比例一致，原本是对的所占比例较小，原本是对的所占比例较大。在上述三种情况下，由于（fp rate， tp rate）基本保持不变，因此ROC曲线、AUC在一定程度上具备对数据集正负样本比例的不变性。
2） 如果单纯蒙的话会是什么结果呢（假设原本是对的预测为对的比例，原本是错的预测为错的比例，原本是对的预测为错的比例，原本是错的预测为对的比例都为0.5，其实也就 是蒙的直接结果了）？此时，precision、recall以及综合两者的F-measure值不能作为判断模型好坏的标准（因为原本是错的数量不确定，考虑原本是对的数据只有1，原本是 错的数据有10000这种极端情况根据他们的定义即可得知precision近似为0，正负样本比例一致则precision约为0.5），也就是说上述三个指标受数据集正负样本比例影响。
3） （fp rate， tp rate）是如何获得呢？对于一个数据集应该只有一组（fp rate， tp rate）吧！这里面涉及到一个问题，就是二分类模型的输出通常是输入为对的概率，如果我 们认为概率大于T的为对，那么如果T不同则（fp rate， tp rate）不同，因此我们获得了一组（fp rate， tp rate）。