评估指标:混淆矩阵、PR、mAP、ROC、AUC

文章目录

    • TP、TN、FP、FN
    • 准确率 Accuracy 和 错误率 Error rate
    • 混淆矩阵 confusion matrix
    • 查准率 Precision 和 召回率 Recall
    • PR 曲线
    • AP 和 mAP
    • ROC 曲线
    • ROC 曲线下面积 AUC

TP、TN、FP、FN

  • TP,即 True Positive,预测为正样本,实际也为正样本的特征数。

  • TN,即 True Negative,预测为负样本,实际也为负样本的特征数。

  • FP,即 False Positive,预测为正样本,实际为负样本的特征数。

  • FN,即 False Negative,预测为负样本,实际为正样本的特征数。

准确率 Accuracy 和 错误率 Error rate

  • Accuracy 即准确率:

    A c c u r a c y = T P + T N P + N Accuracy = \frac{TP+TN} {P+N} Accuracy=P+NTP+TN

  • Error rate 即错误率(误差):

    E r r o r r a t e = F P + F N P + N Error rate= \frac{FP+FN} {P+N} Errorrate=P+NFP+FN

  • 对某一个实例来说,分对与分错是互斥事件,所以:

    A c c u r a c y = 1 − E r r o r r a t e Accuracy =1 - Error rate Accuracy=1Errorrate

混淆矩阵 confusion matrix

混淆矩阵(confusion matrix),也被称为错误矩阵(error matrix),是大小为 (n_classes, n_classes) 的方阵。使用混淆矩阵可以清楚地看到分类误差的具体情况。

二分类的混淆矩阵:

评估指标:混淆矩阵、PR、mAP、ROC、AUC_第1张图片

多分类的混淆矩阵:

评估指标:混淆矩阵、PR、mAP、ROC、AUC_第2张图片

查准率 Precision 和 召回率 Recall

  • 查准率指,对于所有预测为阳性的样本,有多大比率是真阳性。

    真 阳 性 的 数 量 预 测 值 为 阳 性 的 数 量 = T P T P + F P \frac{真阳性的数量} {预测值为阳性的数量} = \frac{TP} {TP+ FP} =TP+FPTP

    查准率越高就越好。

  • 召回率指,对于所有阳性样本,有多大比率被正确预测为阳性。

    真 阳 性 的 数 量 实 际 阳 性 的 数 量 = T P T P + F N \frac{真阳性的数量} {实际阳性的数量} = \frac{TP} {TP + FN} =TP+FNTP

    同样地,召回率越高越好。

  • 对于偏斜类,使用查准率和召回率可以更好地评估算法的分类效果。

  • A 类目标的 Precision 就是在识别出来所有 A 目标中,识别正确的比率。查准率:找的对

  • A 类目标的 Recall 就是在测试集里所有的 A目标中,识别正确的比率。召回率:找的全

PR 曲线

评估指标:混淆矩阵、PR、mAP、ROC、AUC_第3张图片
  • PR 曲线,即 Precision-Recall curve

  • 以召回率 Recall 为横轴

  • 以查准率 Precision 为纵轴

AP 和 mAP

在目标检测中,检测出来的候选框包含 score 和 bbox,按照 score 降序排序:

  • TP 为 IoU > 0.5 的检测框数量(同一个 Ground Truth 只计算一次)。

  • FP 为 IoU <= 0.5 的检测框,重复检测到的 bbox 也算FP。

  • FN 为没有检测到的 GT 的数量。

  • PR 曲线为不同置信度阈值下的查准率和召回率情况。

  • AP 为单个类别的检测精度,即 Average Precision,为 PR 曲线下方的面积。

    详见:VOC 2012

    在VOC2010以前,只需要选取当 Recall >= 0, 0.1, 0.2, …, 1 共11个点时的 Precision 最大值,然后AP就是这11个Precision的平均值。

    在 VOC2010 及以后,需要针对每一个不同的 Recall 值(包括0和1),选取其大于等于这些 Recall 值时的 Precision 最大值,然后计算PR曲线下面积作为AP值。

  • mAP,即 mean Average Precision,对所有类别的 AP 取平均值

ROC 曲线

  • ROC空间,以 FPR 为 X 轴,以 TPR 为 Y 轴。

  • 横轴 FPR,即所有实际为阴性的样本中,被错误地判断为阳性之比率:

    F P R = F P / ( F P + T N ) FPR=FP/(FP+TN) FPR=FP/(FP+TN)

  • 纵轴 TPR,即召回率 Recall,即所有实际为阳性的样本中,被正确地判断为阳性之比率。:

    T P R = T P / ( T P + F N ) TPR=TP/(TP+FN) TPR=TP/(TP+FN)

  • 完美的预测是一个在左上角的点,在 ROC 空间座标 (0,1)点,X=0 代表着没有伪阳性,Y=1 代表着没有伪阴性(所有的阳性都是真阳性);也就是说,不管分类器输出结果是阳性或阴性,都是100%正确。

  • 一个随机的预测会得到位于从 (0, 0) 到 (1, 1) 对角线(也叫无识别率线)上的一个点。

ROC 曲线下面积 AUC

Area under the Curve of ROC (AUC) ,即 ROC 曲线下方的面积。

评估指标:混淆矩阵、PR、mAP、ROC、AUC_第4张图片

在比较不同的分类模型时,可以将每个模型的 ROC 曲线都画出来,比较曲线下面积做为模型优劣的指标:

  • AUC = 1,是完美分类器,分类100% 正确。

  • 0.5 < AUC < 1,优于随机猜测。这个分类器(模型)妥善设定阈值的话,能有预测价值。

  • AUC = 0.5,跟随机猜测一样,模型没有预测价值。

  • AUC < 0.5,比随机猜测还差;但只要总是反预测而行,就优于随机猜测。

你可能感兴趣的:(机器学习,-,深度学习)