CTR预估评价指标介绍

1.1 Logloss

1.1.1 基本原理

• Logloss即对数损失, 也称为对数似然损失(Log-likelihood Loss),或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.可用于评估分类器的概率输出.
• CTR预估是一个二分类问题,只有两类 {0, 1}, 则Logloss公式为
  
  　　其中, yi为输入实例 xi的真实类别, pi为预测输入实例 xi属于类别 1 的概率.
• 对于完全正确的分类（预测概率为1），Logloss为0
• 对所有样本的Logloss表示对每个样本的Logloss的平均值, 对于完美的分类器, 对数损失为 0 .
• 注意控制范围，避免因为0或1带来的log溢出问题

1.1.2 可视化

• Logloss通过惩罚错误的分类,实现对分类器的准确度(Accuracy)的量化. 最小化Logloss基本等价于最大化分类器的准确度.
• 为了计算Logloss, 分类器必须提供对输入的所属的每个类别的概率值, 不只是最可能的类别.
• 下图展示了lable=1时Logloss值的范围 当预测概率接近1时，Logloss缓慢下降。但随着预测概率的降低，Logloss迅速增加 Logloss对两种类型的错误都会进行处罚，尤其是那些置信度很高的错误预测！

1.2 AUC

1.2.1 二分类的常用评价指标

CTR预估是一个二分类问题。二分类问题的评价指标有FP rate，TP rate，准确率accuracy，精确率precision，召回率recall，分别定义如下：

• precision表示的是预测为阳性的样本中有多少是预测对的，recall表示有多少阳性样本被预测了出来，这二者通常是此消彼长，需要根据具体场合看用哪个指标。

• accuracy表示预测准确的占所有的样本的比例。

1.2.2 ROC曲线

• ROC曲线以FPR(False Positive Rate)为横坐标，以TPR(True Positive Rate)为纵坐标对于二分类器，可以通过ROC曲线评判优劣。若FPR越小，TPR越大，则说明分类器性能越好，即曲线越逼近左上角，越好。
• 最理想状态就是(0,1)点，最差情况是(1,0)点。
  　　
• 由于预测值是一个评分，还要通过选定一个阈值来将它划分成1还是0。预测值大于阈值的样本为正样本，预测值小于阈值的样本为负样本，从而得到一对(FPR,TPR)值，此(FPR,TPR)就可以看做ROC图上的一点。
• 不难推测到，只要我们设置一系列不同阈值，就可以得到一系列(FPR,TPR)点，从而画出最终ROC曲线。例如下面示例：
  

1.2.3 ROC曲线特性

• 当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。
• 在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化,ROC曲线基本保持原貌。
  
  上图中，{a,b}图代表原始数据集正负样本平衡时。{c,d}代表测试集中负样本的数量增加到原来的10倍后，分类器的结果。易发现ROC曲线基本保持原貌，而Precision-Recall曲线则变化较大

1.2.4 AUC

• AUC（Area Under Curve）被定义为ROC曲线下的面积， 显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。
  
• 数学上可以证明，AUC值等于一个概率，即在前面已经排序的样本列表中，随机选取一个正样本，再随机选取一个负样本，正样本排在负样本之前的概率。AUC值越大，当前的分类算法越有可能将正样本排在负样本前面，即能够更好的分类。
• AUC表征了正样本排在负样本前面的能力，并且与阈值选取无关，而与模型本身有关。

1.3 参考文献

• 机器学习之CTR预估评价指标
• CTR预估评价指标介绍
• Logloss详解