有关mAP的了解

今天学习的有关mAP（mean average precision）的了解

mAP信息指标意义： 通常用于分析对象检测模型的指标，平均精度（AP）值的平均值是根据从0到1的召回值计算的。
首先创建混淆矩阵：
①True Positives（TP）模型预测标签并根据基本事实正确匹配
②True Negatives（TN）模型不预测标签，不属于ground truth的一部分。
③False Positives（FP）模型预测了一个标签，但它不属于基本事实的一部分
④False Negatives（FN）模型不预测标签，但它是基本事实的一部分
用图表表示如下：

交并集（IoU）：表示预测的边界框坐标与地面真值框的重叠。较高的IoU表示预测的边界框坐标与地面真值框坐标非常相似。

精度（Precision）：精度衡量实际正确的预测阳性的比例，是总检测中的真阳性，取值范围为0到1，Precision=TP/(TP+FP)

召回率（Recall）：衡量从所有预测中（TP+FN）找到真阳性（TP）的能力，Recall=TP/(TP+FN)

计算mAP的步骤摘要：
1、使用模型生成预测分数；
2、将预测分数转换为类标签；
3、计算混淆矩阵——TP、FP、TN、FN；
4、计算精度和召回指标；
5、计算精确召回曲线下的面积；
6、测量平均精度。
mAP的计算方法是找到每个类别的平均精度（AP），然后对多个类别进行评价。

当一个模型的召回率高但精度低时，该模型正确分类了大部分正样本，但它有很多误报（即将许多负样本分类为正样本）
当一个模型具有高精确度但低召回率时，该模型在将样本分类为阳性时是准确的，但它可能只分类了一些阳性样本。

将精度和召回率结合到一个单一的指标中来比较模型。有几个被广泛使用的指标：
F1分数——找到最佳的置信度分数阈值，其中精确度和召回率给出最高的F1分数。F1分数计算精度和召回率之间的平衡。如果F1分数高，则精度和召回率高，反之亦然。

AUC（曲线下面积）涵盖精确召回曲线下方的区域：
通过一个用于mAP计算的对象检测示例：
考虑下面这张在高速公路上行驶的汽车图片，模型的任务是检测汽车。模型的输出显示为红色框。该模型给出了从 P1 到 P7 的七次检测，并且 IoU 值是根据 ground truth 计算的。
对于目标检测任务，精度是根据 IoU 阈值计算的。精度值因 IoU 阈值而异。
如果 IoU 阈值 = 0.8，则精度为66.67%。（6 个中有 4 个被认为是正确的）
如果 IoU 阈值 = 0.5，则精度为83.33%。（6 个中有 5 个被认为是正确的）
如果 IoU 阈值 = 0.2，则精度为100%。 （6 个中有 6 个被认为是正确的）

这表明 AP 指标依赖于 IoU 阈值。选择 IoU 阈值对于研究人员来说是一个任意过程，因为它需要为每个任务仔细选择，因为模型的准确度期望可能会有所不同。因此，为了避免在评估目标检测模型时出现这种歧义，平均精度（mAP）应运而生。
mAP 的想法非常简单 -> 在 AP 计算中考虑一组阈值。计算每个类别k的一组 IoU 阈值的 AP ，然后取所有 AP 值的平均值。这消除了通过使用一组涵盖精度和召回值尾端的 IoU 阈值来选择最佳 IoU 阈值的必要性。

对于每个类k，计算跨不同IoU阈值的mAP，并通过取每个类的所有mAP值的平均值来计算跨测试数据的最终度量mAP。