行人重识别(ReID)概述

什么是Re-ID?

• 行人重识别（Person Re-identification也称行人再识别，简称为ReID，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。
• 如下图所示：一个区域有多个摄像头拍摄视频序列，ReID的要求对一个摄像头下感兴趣的行人，检索到该行人在其他摄像头下出现的所有图片。

---

为什么要Re-ID？

• 在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下，ReID就成为了一个非常重要的替代品技术。
• 重要特性：跨摄像头 --> 学术中性能评价：检索出不同摄像头下的相同行人图片

---

应用场景：

---

研究形式：

• 数据集通常是通过人工标注或者检测算法得到的行人图片，目前与检测独立，注重识别

• 数据集分为训练集、验证集、Query、Gallery

• 在训练集上进行模型的训练，得到模型后对Query与Gallery中的图片提取特征计算相似度，对于每个Query在Gallery中找出前N个与其相似的图片

• 训练、测试中人物身份不重复

• 两大方向：
  • 特征提取：学习能够应对在不同摄像头下行人变化的特征
  • 度量学习 ：将学习到的特征映射到新的空间使相同的人更近不同的人更远
• 基本流程如下图：

---

存在挑战

• 不同下摄像头造成行人外观的巨大变化

• 对于深度学习方法，现有数据集相对较小

---

常用数据集

• CUHK03
• Market1501
• DukeMTMC-reID
• MSMT17

• 这里只列举了常用的数据集，更全的数据集可以参考：Person Re-identification Datasets
  

---

常用评价指标

• rank-k：算法返回的排序列表中，前k位为存在检索目标则称为rank-k命中。eg：rank1：首位为检索目标则rank-1命中。
• Cumulative Match Characteristic (CMC) curve:计算rank-k的击中率，形成rank-acc的曲线，如下图:

• mAP(mean average precision)：反应检索的人在数据库中所有正确的图片排在排序列表前面的程度，能更加全面的衡量ReID算法的性能。如下图，该检索行人在gallery中有4张图片，在检索的list中位置分别为1、2、5、7，则ap为(1 / 1 + 2 / 2 + 3 / 5 + 4 / 7) / 4 =0.793；ap较大时，该行人的检索结果都相对靠前，对所有query的ap取平均值得到mAP

---

学习资料

• 一些入门资料可以参考（代码、视频、文章）：学习资料