ROC与AUC与主动学习评价指标ALC

首先需要关注一下什么是混淆矩阵，此处认为1为正类，0为负类

	预测为0	预测为1
真实为0	TN真负例（预测为0，真实也为0）	FP假正例（预测为1，但真实为0）
真实为1	FN假负例（预测为0，但真实为1）	TP真正例（预测为1，真实也为1）

那么接下来推导出各个常见指标的定义：

• Accuracy：准确率：$acc=\frac{T}{T+F}=\frac{TP+TN}{TP+TN+FP+FN}$
• Precision：查准率：$Precision=\frac{TP}{TP+FP}$，这里需要解释一下为何只有预测为1类的例子，因此在实际例子中常见是不平衡的类别比率，例如在病情诊断例子中，1类通常代表生病类，那么这个类别通常是少数的，因此用查准率来代表模型预测为生病的所有例子中生病的比率为多少
• Recall：召回率（真正类率）：$Recall=\frac{TR}{TP+FN}$，同理按照上述例子，这里表达的是在所有生病的例子中，模型能够识别出来的比率是多少
• FPR：负正类率：$FPR=\frac{FP}{FP+TN}$
• TPR：真正类率：$TPR=\frac{TP}{TP+FN}$
• 截断点：机器学习算法对test样本进行预测后，可以输出各test样本对某个类别的相似度概率。比如t1是P类别的概率为0.3，一般我们认为概率低于0.5，t1就属于类别N。这里的0.5，就是”截断点”。

而ROC曲线是以FPR为横轴，TPR为纵轴所绘制的线

那么接下来将测试集中所有的n个样本预测为正类的置信度进行排序，从高到低，并且接下来进行n次计算，每次需要将排序的第n个样本的置信度作为分类置信度阈值划分类别。例如排序后的序列为[0.9,0.8,0.5,0.4]。

那么第一次迭代，第一个样本的置信度为0.9，那么此时大于0.9的认为是正类（数目为0），小于等于0.9的认为负类（数目为n，即4），可计算得到$FPR=TPR=0$，即第一个点为ROC曲线上的$(0,0)$点；第二次选择0.8作为阈值，那么正类样本划分为1，负类样本划分为3，那么再根据样本的真实标签计算$FPR,TPR$就可以得到下一个点，以此类推。

而AUC就是ROC曲线下的面积，介于0.1到1之间的数值，越接近于1越好

例如下图：

那么关于ALC，在论文《Results of the Active Learning Challenge》中是这么描述的：

The prediction performance was evaluated according to the Area under the Learning Curve (ALC). A learning curve plots the Area Under the ROC curve (AUC) computed on all the samples with unknown labels, as a function of the number of labels queried. To obtain our ranking score, we normalized the ALC as follows:
$$globalscore=\frac{ALC-Arand}{Amax-Arand}$$
where Amax is the area under the best achievable learning curve and Arand is the area under the average learning curve obtained by making random predictions.

解释：根据学习曲线下的面积（ALC）评估预测性能。学习曲线绘制在具有未知标签的所有样本上计算的ROC曲线下面积（AUC），作为查询的标签数量的函数。为了获得我们的排名分数，我们将ALC标准化如下。

其中Amax是最佳可实现学习曲线下的面积，Arand是通过随机预测获得的平均学习曲线下的面积。

那么首先理解ALC的定义：ALC是学习曲线下的面积，而学习曲线则是绘制了AUC的变化曲线，而AUC是曲线ROC曲线的面积，然后根据论文提供的参考资料(http://www.causality.inf.ethz.ch/activelearning.php?page=evaluation#cont)可以更好理解：学习曲线的横坐标是请求实例的数目的对数，纵坐标为请求该数目的实例时，所请求标签的实例集合计算出来的AUC分数，因此总体绘制出来就是一个AUC的变化曲线。而其中$Amax$代表最理想的情况，即AUC始终为1的情况，而$Arand$则代表随机策略，那么此时可以认为其数值为0.5。以下为例子：

上面是简单的例子，以下为论文的实验中的例子：