在以往的印象中，我对这些评价指标算是比较熟悉的。知道一次跟人聊起，发现自己现在已经完全记不清这些指标的意义了，现查阅相关资料之后，将其记录于此。

混淆矩阵

一个二分类问题，会将样本分成正类（positive）和负类（negative），所以对于二分类问题来说，算法结果会出现四种情况：

真实正类预测成正类（TP： True Positive）
真实负类预测成正类（FP： False Positive）
真实正类预测成负类（FN： False Negative）
真实负类预测成负类（TN： True Negative）

绘成矩阵形式即为混淆矩阵：

	预测1	预测0
真实1	TP	FN
真实0	FP	TN

TPR，FPR

真正类率（True Positive Rate，TPR）：预测出的正类占所有真正正类的比率

负正类率（False Positive Rate，FPR）：预测为正类的负例占所有负例的比率

精准率Precision、召回率Recall、F1值

精准率Precision：预测为正例的样本中正确的比例，衡量的是模型的查准率。

准确率Accuracy：所有预测正确的样本（包括正例和负例）中正确的比例

在样本不平均的情况下，准确率这个评价指标有比较大的问题。例如，在正负比例为1:999的样本中，如果全部将样本预测成负类，那么准确率也有99.9%，然而此时的准确率却没有什么意义。

召回率Recall：所有的正类样本中，被正确预测为正类的样本所占的比率，衡量的是模型的查全率。

F1值：在大多数情况下，一个模型的精准率和召回率往往会存在矛盾的情况，精准率越高，召回率越低，相反，召回率越高，精准率越低。因此有精确率和召回率的调和均值：

ROC曲线

ROC（receiver operating characteristic curve）：接受者操作特征曲线，用来反映敏感性和特异性连续变量的综合指标，曲线上的每个点反映这对同一信号刺激的感受性。

image.png

该曲线绘制了以下两个参数：

真正例率（True Positive Rate, TPR）：预测为正且实际为正的样本占所有正例样本的比例，即召回率。
假正例率（False Positive Rate, FPR）：预测为正但实际为负的样本占所有负例样本的比例。

ROC 曲线中的每个点表示不同分类阈值时的 TPR 与 FPR。

当阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即TPR和FPR会同时增大。

阈值最大时，对应坐标点为(0,0)，阈值最小时，对应坐标点(1,1)。

理想目标：TPR=1，FPR=0，即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好。

ROC 曲线下面积 AUC（Area Under Curve）

很多时候 ROC 曲线并不能清晰的说明哪个分类器的效果更好，因此使用AUC来评判分类器的效果。

曲线下面积表示“ROC 曲线下面积”。也就是说，曲线下面积测量的是从 (0,0) 到 (1,1) 之间整个 ROC 曲线以下的整个二维面积。显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围一般在0.5和1之间。

K-S 曲线

KS曲线和 ROC 曲线的画法有很大不同， LR 模型为例，首先把 LR 模型输出的概率从大到小排序，然后取所有分数值中的十分位点值作为阀值，计算出不同的 FPR 和 TPR 值，以10% * k（k=1,2,3, … ,9）为横坐标，分别以 TPR 和 FPR 的值为纵坐标，就可以画出两个曲线，这就是K-S曲线。

1553616536374.png

KS = max(TPR - FPR)，即是两条曲线之间的最大间隔距离。当 (TPR - FPR) 最大时，即 ΔTPR - ΔFPR = 0，这和 ROC 曲线上找最优阀值的条件 ΔTPR = ΔFPR 是一样的。

机器学习算法中的评价指标