车辆重识别(Re-ID)中的mAP和Rank-k评测指标

1. mAP(mean Average precision)

mAP(mean Average precision，平均精度均值)是目标检测和多标签图像分类等任务中常用的评测指标，因为这类任务中的标签数量大多不止一个，因此不能用普通的单标签图像的分类标准，即mean accuracy。mAP指将多类任务中的平均精度（AP）求和再取平均。mAP的相对大小是衡量一个同类任务模型好坏的重要标准之一。下面就mAP的产生分别进行阐述：
（1）准确率（Precision）&召回率（Recall）
假设样本总图像数为 ，预测目标数为 ，干扰目标数为 ，预测正确的正样本数（True Positive）为TP，预测错误的正样本数（False Positive）为FP，预测正确的负样本数（True Negative）为TN，预测错误的负样本数（False Negative）为FN。则准确率（Precision）、召回率（Recall）分别定义如下：

                                                     

Precision和Recall的区别如图所示：
                                                  

（2）平均精度（Avearge Precision）
平均精度（Avearge Precision）指验证集中该类的所有精确率的和/含有该类别目标的图像数量：
                                                           

其中， 分子为验证集中该类的所有精确率的和， 分母为含有该类别目标的图像数量。
（3）平均精度均值（mAP）
由于目标检测中有不止一个类别，因此需要对所有类别计算平均AP值：
                                                           
其中， 分子为每一个类别的平均精度， 分母为总类别数。

2. Rank-k

在车辆重识别任务中，我们的目标是在不同的相机下寻找到与查询(Query)车辆最相似的车辆。通常我们的数据集中会有查询集（Query set）和测试集（Test set）又或叫做展览集（Gallery set）。当我们输入一张Query set中的车辆图像，便在Gallery set中寻找与之最相似的车辆图像。处理方法常是利用训练好的网络，只进行前向传播(feed-forward)，抽取出最后一个FC层的特征（对于多目标车辆重识别任务，我们常抽取Identification层的特征）。对于每一个Query set中的图像的特征，计算它与Gallery set中所有图像的相似度（用欧式距离、余弦相似度等表示）。Rank-k即表示按照相似度排序后的前k张图像中存在与查询图像（Query Image）属于同一ID的准确率。
假设ID的数量为N，也即最后一层FC层的神经元数量为N，特征的维数即为N，提取query图像的特征如下形式：
                                                           
Gallery set含有M张图片，提取test set所有图像的特征如下形式：
                                                           

利用欧式距离计算图片之间的相似度(similarity)，定义符号S表示相似度，相似度如下形式：
                                                           

其中， qk为查询图像提取后的特征中的一个分量， amk为test set中第M张图像的特征中的一个分量。 SM越低表示图像相似性越大，可能是同一幅图像的置信度越高。

继而将SM按照大小从低到高排序，根据Test set中的标签(label)和query image的标签相对照，计算出准确率。
分别计算Rank-k，k=1,5,10,15,20的准确率，即分别计算在排序后的test set集中前1，5，10，15，20内能找到与query image相同标签的图像。