学习笔记3——目标检测的评价指标(AC、TP、FP、FN、TN、AP、ROC、AUC、mAP、[email protected][email protected]:.95)

目标检测的评价指标整理:

本来想整理一波评价指标,查找资料发现有几个博主整理的很全面,就copy过来啦,西西~~

目标检测 — 评价指标 - 深度机器学习 - 博客园 (cnblogs.com)

python实现混淆矩阵 - 知乎 (zhihu.com)

1、准确率 (Accuracy)

  所有样本中正确样本所占的比值为准确率,是系统中最常见的一个评价指标。

    准确率一般用来评估模型的全局准确程度,无法全面评价一个模型性能。

2、混淆矩阵 (Confusion Matrix)

混淆矩阵中的横轴是模型预测的类别统计,纵轴是数据真实标签的分类统计。对角线表示模型预测和数据标签一致的数目,所以对角线之和除以测试集总数就是准确率。对角线上数字越大越好,在可视化结果中颜色越深,说明模型在该类的预测准确率越高。如果按行来看,每行不在对角线位置的就是错误预测的类别。因此,对角线越高越好,非对角线越低越好。

学习笔记3——目标检测的评价指标(AC、TP、FP、FN、TN、AP、ROC、AUC、mAP、mAP@.5、mAP@.5:.95)_第1张图片

 3、精确率(Precision)与召回率(Recall)

在这里插入图片描述

TP:正样本被预测成个样本

TN:负样本被预测成负样本

FP:负样本被预测成正样本

FN:正样本被预测成负样本

P(精确率、查准率):预测为正样本中实际为正样本的占比。

R(召回率、查全率):所有正样本中实际被预测为正样本的占比。

P-R曲线(查准率-查全率曲线):

学习笔记3——目标检测的评价指标(AC、TP、FP、FN、TN、AP、ROC、AUC、mAP、mAP@.5、mAP@.5:.95)_第2张图片

 P-R图直观的显示出学习器在样本总体上的查全率、查准率,再进行比较时,若一个学习器的 P-R曲线被另外一个学习器的曲线完全“包住”,则可断言后者的性能优于前者。P-R曲线下面积的大小,在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。

4、ROC和AUC

学习笔记3——目标检测的评价指标(AC、TP、FP、FN、TN、AP、ROC、AUC、mAP、mAP@.5、mAP@.5:.95)_第3张图片

  • 横坐标:假正率(False positive rate, FPR),FPR = FP / [ FP + TN] ,代表所有负样本中错误预测为正样本的概率,假警报率;
  • 纵坐标:真正率(True positive rate, TPR),TPR  = TP / [ TP + FN] ,代表所有正样本中预测正确的概率,命中率。
  • 对角线对应于随机猜测模型,而(0,1)对应于所有整理排在所有反例之前的理想模型。曲线越接近左上角,分类器的性能越好。ROC曲线有个很好的特性:当测试集中的正负样本的分布变化的时候,ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡(class imbalance)现象,即负样本比正样本多很多(或者相反),而且测试数据中的正负样本的分布也可能随着时间变化。
  • AUC(Area Under Curve)即为ROC曲线下的面积。AUC越接近于1,分类器性能越好。

5、mAP、[email protected][email protected]:.95

平均精度(Average-Precision,AP)、 mean Average Precision(mAP)

AP是PR曲线下面的面积,一个越好的分类器,AP值越高。

如果是多类别目标检测任务,就要使用mAP,mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均,得到的就是mAP的值,mAP的大小一定在[0,1]区间,越大越好。该指标是目标检测算法中最重要的一个。

[email protected]指的是IOU的值取50%,AP70同理

[email protected]:.95指的是IOU的值从50%取到95%,步长为5%,然后算在在这些IOU下的AP的均值

你可能感兴趣的:(python,算法,opencv,机器学习,计算机视觉,深度学习)