CUHK03和Market1501计算CMC和mAP的方法

Cumulative Matching Characteristics (CMC) curves 是目前行人重识别领域最流行的性能评估方法。考虑一个简单的 single-gallery-shot 情形，每个数据集中的ID(gallery ID)只有一个实例. 对于每一次的识别(query), 算法将根据 要查询的图像(query) 到所有gallery samples的距离从小到大排序，CMC top-k accuracy 计算如下：

                                Acc_k = 1, if top-k ranked gallery samples contain query identity

                                Acc_k = 0, otherwise

这是一个 shifted step function, 最终的CMC 曲线(curve) 通过对所有queries的shifted step functions取平均得到。

尽管在 single-gallery-shot 情形下，CMC 有很明确的定义，但是在 multi-gallery-shot 情形下，它的定义并不明确，因为每个gallery identity 可能存在多个instances. 例如, CUHK-03 和 Market-1501 数据集计算 CMC curves 和 CMC top-k accuracy 的方法有很大的不同：

CUHK03: 这个数据集中，query 和 gallery 集来自不同的摄像头视角。对于每个query,  随机地从每个 gallery identity 中采样一个instance,  然后以 single-gallery-shot 的方式计算 CMC curve. 随机采样重复N次，最终输出CMC curve.

Market-1501: Query 和 gallery 集可能来自相同的摄像头视角，但是对于每个query identity, 他/她的来自同一个摄像头的 gallery samples 会被排除掉。对于每个 gallery identity，他们不会只随机采样一个instance. 这意味着在计算CMC时， query 将总是匹配 gallery 中“最简单”的正样本，而不关注其他更难识别的正样本。此数据集，bounding_box_test文件夹是gallery 样本，bounding_box_train文件夹是train 样本，query文件夹是query 样本

由上面可以看出，在 multi-gallery-shot 情形下，CMC评估具有缺陷。因此，也使用 mAP（mean average precsion）作为评估指标。mAP可认为是PR曲线下的面积，即平均的查准率。

mAP介绍：

mAP的全称是mean average precision，average precision是希望正确的结果优先出现，mean average precision则是对于AP的延伸，取多次查询的AP的均值来代表算法的准确度。下面来张图：

这只是做了两次查询取平均的例子，实际上还可以更多