学习笔记3——目标检测的评价指标（AC、TP、FP、FN、TN、AP、ROC、AUC、mAP、[email protected]、[email protected]:.95）

目标检测的评价指标整理：

本来想整理一波评价指标，查找资料发现有几个博主整理的很全面，就copy过来啦，西西~~

目标检测 — 评价指标 - 深度机器学习 - 博客园 (cnblogs.com)

python实现混淆矩阵 - 知乎 (zhihu.com)

1、准确率 （Accuracy）

　　所有样本中正确样本所占的比值为准确率，是系统中最常见的一个评价指标。

　   准确率一般用来评估模型的全局准确程度，无法全面评价一个模型性能。

2、混淆矩阵 （Confusion Matrix）

混淆矩阵中的横轴是模型预测的类别统计，纵轴是数据真实标签的分类统计。对角线表示模型预测和数据标签一致的数目，所以对角线之和除以测试集总数就是准确率。对角线上数字越大越好，在可视化结果中颜色越深，说明模型在该类的预测准确率越高。如果按行来看，每行不在对角线位置的就是错误预测的类别。因此，对角线越高越好，非对角线越低越好。

 3、精确率（Precision）与召回率（Recall）

TP:正样本被预测成个样本

TN：负样本被预测成负样本

FP：负样本被预测成正样本

FN：正样本被预测成负样本

P（精确率、查准率）：预测为正样本中实际为正样本的占比。

R（召回率、查全率）：所有正样本中实际被预测为正样本的占比。

P-R曲线（查准率-查全率曲线）：

 P-R图直观的显示出学习器在样本总体上的查全率、查准率，再进行比较时，若一个学习器的 P-R曲线被另外一个学习器的曲线完全“包住”，则可断言后者的性能优于前者。P-R曲线下面积的大小，在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。

4、ROC和AUC

• 横坐标：假正率(False positive rate， FPR)，FPR = FP / [ FP + TN] ，代表所有负样本中错误预测为正样本的概率，假警报率；
• 纵坐标：真正率(True positive rate， TPR)，TPR  = TP / [ TP + FN] ，代表所有正样本中预测正确的概率，命中率。
• 对角线对应于随机猜测模型，而（0,1）对应于所有整理排在所有反例之前的理想模型。曲线越接近左上角，分类器的性能越好。ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。
• AUC（Area Under Curve）即为ROC曲线下的面积。AUC越接近于1，分类器性能越好。

5、mAP、[email protected]、[email protected]:.95

平均精度（Average-Precision，AP）、 mean Average Precision(mAP)

AP是PR曲线下面的面积，一个越好的分类器，AP值越高。

如果是多类别目标检测任务，就要使用mAP，mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均，得到的就是mAP的值，mAP的大小一定在[0,1]区间，越大越好。该指标是目标检测算法中最重要的一个。

[email protected]指的是IOU的值取50%，AP70同理

[email protected]:.95指的是IOU的值从50%取到95%，步长为5%，然后算在在这些IOU下的AP的均值