行人重识别简介（Person ReID）

一、简介

• 行人重识别，也被称为 ReID(Person Re-identification)，是希望能够利用计算机视觉的算法来进行 跨摄像头的追踪，也就是找到不同摄像头下的同一个人，这也是图像检索的一个子问题

• 多个摄像头下拍摄行人的角度不同，图像中的行人可能72变。所以要正确判断的话，就要找到行人上的局部不变的part（比如：衣服颜色，衣服纹理，手提包，背包等等）下图为 DukeMTMC-reID 数据集的 retrieval demo

  • 左边的 query 就是要查找的某个人，右边的 gallery 就是所有的人，我们需要从 gallery 里面找到 query 的人
  • 蓝色的框表示同一个人，红色的框表示不同的人
    

• 能不能用人脸识别来做重识别？

  • 因为摄像头的距离比较远，所以人的图像都比较模糊，没有办法通过人脸来定位
  • 广泛存在后脑勺和侧脸的情况，做正脸的人脸识别难

• 有些人靠衣服的颜色就可以判断出来了，还需要行人重识别么？

  • 首先，衣服颜色确实是行人重识别做出判断一个重要因素，但光靠颜色是不足的。
  • 其次，摄像头之间是有色差，并且会有光照的影响。
  • 最后，有撞衫（颜色相似）的人怎么办，要找细节，但比如颜色直方图这种统计的特征就把细节给忽略了。

---

二、评价指标

• ReID 模型的好坏，目前有两个比较常用的指标，一个是 Top1，一个是 mAP

  • Top1 表示首位命中的概率，我们会将 query 和 gallery 依次算一个距离（提取特征后计算）然后根据距离排序，判断一下 gallery 首位的图有没有命中 query，Top5 表示 1 - 5张图片面至少有一张命中。
  • mAP 表示平均精度均值，我们可以用下面这张图片来形象的说明 mAP 是如何计算的？
    

• 余弦距离（越小越相似，$0\sim 2$）
  

---

三、测试方法

• 用 ReID model 做预测就非常简单，就去掉最后的全连接层，然后用网络提取 feature，最后算 query 和 gallery 所有图片 feature 之间的距离，根据距离去算 Top1 和 mAP 就可以得到最后的效果

---

四、参考资料

1、一个强力的ReID basemodel
2、行人重识别综述：从哈利波特地图说起
3、图像检索：信息检索评价指标