机器学习-01-衡量分类器好坏

转载自:Beader,主要学习内容来源:

http://beader.me/2013/12/15/auc-roc/

感谢原作者的知识普及。

转载详细内容:



AUC与ROC - 衡量分类器的好坏

二元分类器

  二元分类器是指要输出(预测)的结果只有两种类别的模型。例如预测阳性/阴性,有病/没病,在银行信用评分模型中,也用来预测用户是否会违约,等等。

  既然是一种预测模型,则实际情况一定是有些结果猜对了,有些结果猜错了。因为二元分类器的预测结果有两种类别(以下以阴/阳为例),对应其真实值,则会有以下四种情形:

1. 预测为阳性,真实值为阴性 (伪阳性)2. 预测为阴性,真实值为阳性 (伪阴性)3. 预测为阴性,真实值真的为阴性 (真阴性)4. 预测为阴性,真实值真的为阴性 (真阴性)

机器学习-01-衡量分类器好坏_第1张图片

图1.confusion matrix (混乱矩阵)

ROC空间

在信号检测理论中,接收者操作特征曲线(receiver operating characteristic curve,或者叫ROC曲线)是一种座标图式的分析工具。

要了解ROC曲线,先要了解一下ROC空间,ROC空间是一个以伪阳性率(FPR, false positive rate)为X轴,真阳性率(TPR, true positive rate)为Y轴的二维坐标系所代表平面。

TPR: 真阳性率,所有阳性样本中(TP+FN),被分类器正确判断为阳的比例。

TPR = TP / (TP + FN) = TP / 所有真实值为阳性的样本个数

FPR: 伪阳性率,所有阴性样本中(FP+TN),被分类器错误判断为阳的比例。

FPR = FP / (FP + TN) = FP / 所有真实值为阴性的样本个数

我们想象这样一种场景,接触阳性样本可以给我们带来“收益”,接触阴性样本则会给我们造成”成本”。

并且如果我们接触样本中所有的阳性样本,我们的收益是1,接触样本中的所有阴性样本,我们的成本也是1。

如果不接触样本,则既不产生收益也不产生成本。

自然的,如果不使用分类器,接触所有样本,则总的效益为1-1=0。现在让我们利用分类器来决定是否接触样本,分类器预测为阳,我们就去接触样本,分类器预测为阴,我们就不去接触。因为不接触样本不会产生收益或是成本,因此我们只需要看分类器预测为阳的样本。预测为阳的样本中,TP将产生 TPR 的收益, FP将产生FPR的成本。

那么一个分类器的分类效果就对应ROC空间里的一个点:

机器学习-01-衡量分类器好坏_第2张图片

图2.ROC空间

A,B,C三个点可以分别代表三个不同的分类器对同样的样本做预测的结果。

最好的方法是A,因为他的收益大于成本(TPR > FPR),最差的是C(TPR < FPR)。中等的是B,相当于随机分类器。

这里有趣的一点是若把C以(0.5, 0.5)为中点作一个镜像,得到C’, C’的效果比A要来的好。C’相当于一个做与C预测结果完全相反的分类器。

实际的应用当中,分类器还会给出它预测某个样本为阳的概率,并且有一个事先给定的门槛值(threshold),概率高于threshold的就预测为阳性,低于threshold的就预测为阴性。假设以下是某个分类器对id为1-10的客户的分类结果:

表1.分类器预测结果

机器学习-01-衡量分类器好坏_第3张图片

其中probability of 1为分类器判断该样本为阳性的概率,true class为该样本的真实情况。

如果我们把threshold定位0.5,即去接触id为1~8的客户。此时

TPR= TP / 所有真实值为阳性的样本个数 =6/6=1FPR= FP / 所有真实值为阴性的样本个数 =2/4=0.6

  同理,如果我们把threshold定位0.8,即去接触id为1~5的客户。此时

TPR= TP / 所有真实值为阳性的样本个数 =4/6=0.67FPR= FP / 所有真实值为阴性的样本个数 =1/4=0.25

  这两个threshold分别对应ROC空间中的两个点A、B

机器学习-01-衡量分类器好坏_第4张图片

图3.不同的threshold对应ROC空间中不同的点

ROC曲线

上面的例子当中,共有10笔预测数据,则一共有11种threshold的设定方法,每一个threshold对应ROC空间中的一个点,把这些点连接起来,就成了ROC曲线。

机器学习-01-衡量分类器好坏_第5张图片

图4.ROC曲线

  这里因为数据量太少,所以曲线是一折一折的,数据量大的时候,看上去才像”曲线”。

AUC (Area under the Curve of ROC) 曲线下面积

以下直接搬维基百科:

因为是在1x1的方格里求面积,AUC必在0~1之间。

假设threshold以上是阳性,以下是阴性;

若随机抽取一个阳性样本和一个阴性样本,分类器正确判断阳性样本的值高于阴性样本之机率。(即前文当中把C做一个镜像变为C’)

简单说:AUC值越大的分类器,正确率越高。

  从AUC判断分类器(预测模型)优劣的标准:

AUC = 1,是完美分类器,采用这个预测模型时,不管设定什么阈值都能得出完美预测。绝大多数预测的场合,不存在完美分类器。

0.5 < AUC < 1,优于随机猜测。这个分类器(模型)妥善设定阈值的话,能有预测价值。

AUC = 0.5,跟随机猜测一样(例:丢铜板),模型没有预测价值。

AUC < 0.5,比随机猜测还差;但只要总是反预测而行,就优于随机猜测,因此不存在AUC < 0.5的情况。

机器学习-01-衡量分类器好坏_第6张图片

图5.用AUC来衡量不同分类器的分类能力(更准确的说是排序能力)

总结

  一个分类模型的分类结果的好坏取决于以下两个部分:

分类模型的排序能力(能否把概率高的排前面,概率低的排后面)

threshold的选择

  使用AUC来衡量分类模型的好坏,可以忽略由于threshold的选择所带来的影响,因为实际应用中,这个threshold常常由先验概率或是人为决定的。

补充:Gini coefficient

在用SAS或者其他一些统计分析软件,用来评测分类器分类效果时,常常会看到一个叫做gini coefficient的东西,那么这个gini coefficient又是什么呢?

gini系数通常被用来判断收入分配公平程度,具体请参阅wikipedia-基尼系数。

机器学习-01-衡量分类器好坏_第7张图片

图6.洛伦茨曲线与基尼系数

  Gini coefficient 是指绝对公平线(line of equality)和洛伦茨曲线(Lorenz Curve)围成的面积与绝对公平线以下面积的比例,即gini coefficient = A面积 / (A面积+B面积) 。

  用在评判分类模型的预测效力时,是指ROC曲线曲线和中线围成的面积与中线之上面积的比例。

机器学习-01-衡量分类器好坏_第8张图片

图7.Gini coefficient与AUC

因此Gini coefficient与AUC可以互相转换:

gini =A/ (A+ B) = (AUC - C) / (A+ B) = (AUC -0.5) /0.5=2*AUC -1

你可能感兴趣的:(机器学习-01-衡量分类器好坏)