机器/深度学习基础——性能度量

机器/深度学习——性能度量

      
性能度量反映了任务需求，也便于评价一个模型的"好坏"。

分类任务中常用的性能度量

1、错误率与精度

• 错误率： 分类错误的样本数占样本总数的比例
• 精度(acc): 分类正确的样本数占样本总数的比例

2、查准率、查全率、F1、P-R曲线
混淆矩阵：

TP + FN + FP + TN = 样本总数

• 查准率（precision）：$P=\frac{TP}{TP+FP}$
• 查全率 (recall)： $R=\frac{TP}{TP+FN}$
• P-R曲线
  图片（周志华，机器学习）
  
• F1： F1 = $\frac{2\ast P\ast R}{P+R}$ = $\frac{2\ast TP}{样本总数+TP-TN}$
  F1是根据查准率与查全率的调和平均定义的。
  $\frac{1}{F1}$ = $\frac{1}{2}$ x ($\frac{1}{P}$+$\frac{1}{R}$)

3、ROC、AUC
学习器对测试样本的评估结果一般为一个实值或概率，设定一个阈值，大于阈值为正例，小于阈值为负例，因此这个实值的好坏直接决定了学习器的泛化性能，若将这些实值排序，则排序的好坏决定了学习器的性能高低。ROC(全称“受试者工作特征”)曲线正是从这个角度出发来研究学习器的泛化性能，ROC是一个用于度量分类中的非均衡性的工具，ROC曲线及AUC常被用来评价一个二值分类器的优劣。ROC曲线与P-R曲线十分类似，都是按照排序的顺序逐一按照正例预测，不同的是ROC曲线以“真正例率”（True Positive Rate，简称TPR）为横轴，纵轴为“假正例率”（False Positive Rate，简称FPR），ROC偏重研究基于测试样本评估值的排序好坏。
      同样地，进行模型的性能比较时，若一个学习器A的ROC曲线被另一个学习器B的ROC曲线完全包住，则称B的性能优于A。若A和B的曲线发生了交叉，则谁的曲线下的面积大，谁的性能更优。ROC曲线下的面积定义为AUC（Area Uder ROC Curve），不同于P-R的是，这里的AUC是可估算的，即AOC曲线下每一个小矩形的面积之和。易知：AUC越大，证明排序的质量越好，AUC为1时，证明所有正例排在了负例的前面，AUC为0时，所有的负例排在了正例的前面。我给出的答案是 AUC是指 随机给定一个正样本和一个负样本，分类器输出该正样本为正的那个概率值 比 分类器输出该负样本为正的那个概率值 要大的可能性