【深度学习中模型好坏的所有评价指标汇总（混淆矩阵、recall、precision、F1、AUC面积、ROC曲线、ErrorRate）】

深度学习中模型好坏的所有评价指标汇总（混淆矩阵、recall、precision、F1、AUC面积、ROC曲线、ErrorRate）

0.混淆矩阵

• true positives (TP): 在这些情况下，我们预测“yes”(他们有这种病)，并且他们确实有这种病。

• true negatives (TN): 我们预测“no”，事实上他们确实没有患病。

• false positives (FP): 我们预测“yes”，但是他们实际上并没有患病。(也称为“第一类错误”。)

• false negatives (FN): 我们预测“no”，但他们确实有这种疾病。(也称为“第二类错误”。)

• 假正率 FPR：预测为正例但实际为负例的样本占所有负例样本（真实结果为负样本）的比例。

  • FPR=FP / (FP+TN)

• 真正率 TPR：预测为正例且实际为正例的样本占所有正例样本（真实结果为正样本）的比例。

  • TPR=TP / (TP+FN)

• 解析上表

  • 总共有40个正样本，20个负样本；
  • 其中，有38个正样本被预测为正样本，有2个正样本被预测为负样本；
  • 其中，有18个负样本被预测为负样本，有2个负样本被预测为正样本；
  • 其中，假正率FPR为 2/(2+18)=0.1
  • 其中，真正率TPF为 38/(38+2)=0.95

1.AUC(Area under curve)

• 常用于二分类模型

• 理解1：ROC曲线下的面积

• 理解2：随机抽出一对样本(一个正样本，一个负样本)，然后用训练得到的分类模型来对这两个样本进行预测，预测得到正样本的概率大于负样本概率的概率

• 优点：

  • 它不受类别不平衡问题的影响，不同的样本比例不会影响AUC的评测结果。
  • 在训练时，可以直接使用AUC作为损失函数

• 计算方式1：

  • 在有M个正样本,N个负样本的数据集里。一共有MN对样本（一对样本即，一个正样本与一个负样本）。统计这MN对样本里，正样本的预测概率大于负样本的预测概率的个数
  • 
  • 
  • 假设有4条样本。2个正样本，2个负样本，那么M*N=4。
    即总共有4个样本对。分别是：
    （d,b）,（d,a）,(c,b),（c,a）
    在（d,b）样本对中，正样本d预测的概率大于负样本b预测的概率（也就是d的得分比b高），记为1
    同理，对于（c,b）。正样本c预测的概率小于负样本b预测的概率，记为0
    因此，AUC=(1+1+1+0)/4 = 0.75

• 计算方式2：

  • 对预测概率从高到低排序

  • 对每一个概率值设一个rank值（最高的概率的rank为n,第二高的为n-1）

  • rank实际上代表了该score（预测概率）超过的样本的数目
    为了求的组合中正样本的score值大于负样本，如果所有的正样本score值都是大于负样本的，那么第一位与任意的进行组合score值都要大，我们取它的rank值为n，但是n-1中有M-1是正样例和正样例的组合这种是不在统计范围内的（为计算方便我们取n组，相应的不符合的有M个），所以要减掉，那么同理排在第二位的n-1，会有M-1个是不满足的，依次类推，故得到后面的公式M*(M+1)/2，我们可以验证在正样本score都大于负样本的假设下，AUC的值为1

  • 除以M*N
    -
    

  • tips：相等概率得分的样本，无论正负，谁在前，谁在后无所谓。

  • 正样本为狗：数量为4；

  • 负样本为其他：数量为3

  • 由于只考虑正样本的rank值：

  • 对于正样本b，其rank值为（5+4+3+2）/4 = 7/2

  • 对于正样本c，其rank值为（5+4+3+2）/4 = 7/2

  • 对于正样本f，其rank值为 6

  • 对于正样本g，其rank值为 7

  • AUC={ 6+7+7/2+7/2- [ 4*(4+1) ] /2 } / (4*3) =0.834

• python实现

  import numpy as np
  from sklearn.metrics import roc_curve
  from sklearn.metrics import auc
  
  y = np.array([1,1,0,0,1,0,1,0,])
  pred = np.array([0.77, 0.8, 0.6, 0.1,0.4,0.9,0.66,0.7])
  
  fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)
  print("AUC:",auc(fpr, tpr))
  

  AUC: 0.5625
  

2.ROC曲线(receiver operating characteristic curve)

• 用来衡量一个二分类学习器的好坏；
• 如果一个学习器的ROC曲线能将另一个学习器的ROC曲线完全包住，则说明该学习器的性能优于另一个学习器；
• 纵坐标：TPR=TP/(TP+FN) （真正率）
• 横坐标：FPR=TP/(FP+TN) （假正率）

• python实现

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import sklearn.metrics as metrics

def plot_ROC(labels,preds,savepath):
    """
    Args:
        labels : ground truth
        preds : model prediction
        savepath : save path 
    """
    # fpr1, tpr1, threshold1 = metrics.roc_curve(labels, preds)  ###计算真正率和假正率
    
    fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)
    
    roc_auc1 = metrics.auc(fpr, tpr)  ###计算auc的值，auc就是曲线包围的面积，越大越好
    plt.figure()
    lw = 2
    plt.figure(figsize=(10, 10))
    plt.plot(fpr, tpr, color='darkorange',
            lw=lw, label='AUC = %0.2f' % roc_auc1)  ###假正率为横坐标，真正率为纵坐标做曲线
    plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
    plt.xlim([-0.05, 1.05])
    plt.ylim([-0.05, 1.05])
    plt.xlabel('1 - Specificity')
    plt.ylabel('Sensitivity')
    # plt.title('ROCs for Densenet')
    plt.legend(loc="lower right")
    # plt.show()
    plt.savefig(savepath) #保存文件
if __name__=="__main__":
	y = np.array([1,1,0,0,1,0,1,0,])
    pred = np.array([0.77, 0.8, 0.6, 0.1,0.4,0.9,0.66,0.7])
    savepath="./ROC.jpg"
    plot_ROC(y, pred, savepath)

结果如下图所示：