机器学习（二）性能度量
三、性能度量
衡量模型泛化能力的评价标准就是性能度量。性能度量反映了任务需求。
评估学习器f的性能，就是将学习器预测结果f(x)与真实标记y进行比较。
“均方误差”：
（2-1）
1、错误率与精度
错误率是分类错误的样本数占总样本数的比例，定义为：
（2-2）
精度是分类真确的样本数占样本总数的比例，定义为：
（2-3）
2、查准率、查全率
1）真正例（TP）、假真例（FP）、真反例（TN）、假反例（FN），TP+FP+TN+FN=样例总数，分类结果的混淆矩阵如下：
表1 分类结果混淆矩阵
真实情况 |
预测结果 |
|
正例 |
反例 |
|
正例 |
TP（真正例） |
FN（假反例） |
反例 |
FP（假正例） |
TN（真反例） |
则查准率P :
（2-4） 查全率R：
（2-5） 查准率与查全率是一对矛盾的量。
2）我们将学习器的预测结果对样例进行排序，并按次序对样本作为正例进行预测，以查准率为纵轴，查全率为横轴作图，得到“P-R图”。
图1 P-R曲线与平衡点示意图
若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则后者的性能优于前者，如上图显示A的性能优于学习器C；若两个学习器的P-R曲线发生交叉，一个合理判断两者性能的依据是比较P-R曲线下的面积大小。在图中“查准率=查全率”的点称为“平衡点”（BEP）,C的BEP为0.64，如基于BEP做性能比较，则A优于B。
3、F1
1）上述有BEP做性能比较过于简化，更常用的是F1。结合（2-4）（2-5）式得F1度量：
(2-6)
M为样例总数（由于在LaTeX公式编译器中汉字打不上去暂且用M表示）
2）F1度量的一般形式——
：
(2-7)
>0度量了查全率对查准率的相对重要性，
=1时退化为标准的F1，
>1时查全率有更大影响，
<1时查准率有更大影响。
3）“宏查准率”（macro-P）,“宏查全率”（macro-R）是在个混淆矩阵上分别算出查准率和查全率，在计算平均值得到，可以相应的计算“宏F1”（macro-F1）。
(2-8)
(2-9)
(2-10)
4）“微查准率”（micro-P）,“微查全率”（micro-R）是将各混淆矩阵的对应元素进行平均，得到TP,FP,TN,FN的平均值，基于这些平均值计算得到的。可以相应的计算“微F1”（micro-F1）。
(2-11)
(2-12)
(2-13)
4、ROC和AUC
学习器为测试样本产生一个实值或概率预测，将这个值和一个分类阈值进行比较，大于阈值分为正类，否则为反类。根据这个实值或概率预测结果我们将测试样本进行排序，“最可能”是正例的排在最前面，“最不可能”是正例的排在最后面。分类过程中有一个“截断点”将样本分为两部分，前一部分判为正例，后一部分为反例。我们可以根据任务需求采用不同的截断点，如我们更重视“查准率”，则可以在排序中靠前的位置进行截断，若更重视“查全率”，则在靠后的位置进行截断。
1）ROC全称“受试者工作特征”，“ROC曲线”是研究学习器泛化性能的工具，它是以“真正例率”（TPR）为纵轴，以“假正例率”（FPR）为横轴。
(2-14)
(2-15)
图2 ROC曲线与AUC示意图
2）AUC可通过对ROC曲线下各部分的面积求和得到。
(2-16)
排序损失定义为：
(2-17)
若正例的预测值小于反例，则记一个“罚分”，若相等，则记0.5个“罚分”。
(2-18)
5、代价敏感错误率和代价曲线
表示将第i类样本样本预测为第j类样本的代价。
表2 二分类代价矩阵
真实类别 |
预测类别 |
|
第0类 |
第1类 |
|
第0类 |
0 |
|
第1类 |
|
0 |
在非均等代价下，我们所希望的不再是简单的最小化错误次数，而是希望最小化“总体代价”。而ROC曲线不能直接反映学习器的期望总体代价，这时候“代价曲线”可以达到该目的。
“代价敏感”错误率：
（2-19）
正例概率代价：
（2-20）p是样例为正例的概率
“代价曲线”的横轴取值是[0，1]，纵轴是取值[0,1]的归一化代价：
(2-21)
其中FPR是假正例率，FNR=1-TPR (2-22)
将ROC上的每个点转化为代价平面上的一条线段，然后取所有线段的下界，则“代价曲线”围成的面积即为所有条件下学习器的期望总体代价。
