阅读笔记-Deep learning for person re-identification: A survey and outlook

image.png

来源：arXiv:2001.04193v1

摘要

行人重识别任务的目标是希望在多个不具有重叠区域的摄像场景中实现行人的检索。目前行人重识别根据采用的组件不同可以分为closed-world和open-world两种。closed-world场景相对而言目前研究较深入，其主要针对于不同的应用假设，在多个数据集上都取得较好的性能，比如Market1501，CUHK和DUKE等。 closed-world场景一般研究重点有三部分：深度特征表示学习、深度度量学习和rank优化。而open-world场景则相对更加复杂。本文总结了open-world场景中ReID的五个不同视角，提出了一种AGW基线方法，在多个ReID任务上都取得较好性能。另外，本文还提出了一种新的评估度量 mINP。最后探索了ReID目前亟待解决的一些方向。

介绍

基本定义： 非重叠的多个摄像场景中，特定行人的检索问题。具体而言，给定一个待检索的目标行人，ReID希望能够判断这个目标是否出现在不同时刻不同场景不同摄像头的场景中。
基本难点： 行人的视角、图像分辨率变化、光照变化、姿态变化、遮挡，不同模态等。
该综述的不同点：

• 对目前存在的深度方法进行了深入详细的分析，讨论了其优缺点以及对后续方法的启发点。
• 设计了一种较强的基线方法AGW，并提出了一种新的评价指标 mINP；
• 讨论了open-world场景中ReID存在的研究方向，试图缩小closed-world和open-world之间的差距。

ReID系统一般包含五块内容

image.png

• raw data 往往包含较大噪声
• bounding box 一般采用检测和跟踪算法获得
• annotation 训练数据标定是最耗费人力成本的步骤，也是有监督学习不可或缺的
• training 模型的建立，包括特征抽取方式，度量学习方式，损失函数等。该阶段是研究的重点
• retrieval 推理阶段，一般通过gallery中相似度进行排序后，评估性能。

根据上面五块内容，ReID任务分为closed-world和open-world两类，区别如下：

image.png

• 异构数据是指包含不同性能的摄像头采集的数据，甚至文本描述等数据
• open-world场景更倾向于将person search集成到整个网络中学习
• open-world场景标注数据永远是不够的，存在不标准数据，这时候半监督、自监督是种思路
• open-world中的gallery有可能是open-set，即不一定存在想要查询的目标

closed-world 行人重识别

closed-world场景的一般前提：1）输入时裁剪后的行人图像块；2）有监督学习；3)检索目标一定存在gallery中。
closed-world场景模型一般包含3部分：特征抽取、度量学习和rank 优化。

特征抽取

如下图所示，一般包含四类：

image.png

全局特征

知识点：

• 目前最常用的模型是IDE模型，即将匹配问题之间转换成分类问题。也有一些方法将Triplet loss与ID-discriminate loss结合。
• Attention。ReID对attention的研究比较深入。1）单个行人的attention更注重可见部分以及鉴别力较强的区域；2）多人间的attention，更好的刻画相同目标和不同目标；
• architecture modification。 SVDNet、CAM（class activation maps）等

局部特征

ReID的难点包括视角不同，遮挡等，行人区域可能不对齐，这时往往希望通过部件或者区域特征进行对齐。主流趋势是combine全局特征和部件特征。以PDC模型为代表的pose驱动方法，通过pose获得部件信息，然后利用部件的attention进行检索。PCB方式是利用图像均匀划分的典型。其将目标框水平分成6个条带，每个条带进行独立的分类任务学习，在推理阶段将六条条带的特征进行concat表征整体。另外还通过refined part pooling策略增强了部件内部的一致性，具体是计算每个部件与所有像素点的相似度进行重新划分，可以认为是一种non-local的attention。
行人parsing技术能够获得较好的语义部件，提供更对齐的部件特征，但需要额外的pose检测器且由于ReID数据集和Pose数据集的分布差异，易产生错误的pose。均匀划分的策略更灵活，但对严重遮挡和大的背景模糊无能为力。

辅助特征表示学习

辅助特征表示学习一般包括额外的标注数据，比如语义标注，和训练样本生成等。

• 语义属性。
• 视角信息。
• 域信息。每个摄像头作为独立的域。
• 样本生成和增广。 GAN

视频特征表示学习

该任务中，每个目标不再是图像区域，而是一段帧序列。

---

待续（ReID领域新接触，积累不够，综述文章读着好多理解不够深入，先去读具体方法了;( 后面积累了，再回来阅读这个吧。。。留坑）

框架设计

将行人作为特定的行人检索问题，大多数方法都采用用于图像分类的网络结构作为backbone。其中一些方法通过修改backbone的结果以提取更好的ReID特征，比如对于ResNet50而言，一般将最后一个stage的stripe改为1以增大分辨率（参考文献PCB），或者最后一个pooling层采用自适应的平均池化（这里参考文献是PCB模型，池化时时不同的条带中进行gap），再或者在pooling层后添加具有bn的bottleneck 层（暂停，滚去阅读参考文献75， SVDNet了！（OK，已读完，见https://www.jianshu.com/p/43fb25a3ef6d，和作者说的其实有出入，并不是加了bn，而是希望投影向量正交，从而获得的表观特征在每个维度上相互独立））。
其他的一些为ReID专门设计的网络结构有 FPNN(filter pairing neural network), 通过部件鉴别信息的挖掘同时处理不对齐和遮挡问题(暂停，去读参考文献34，DeepReID （已读，https://www.jianshu.com/p/693e724ef2cc）)，[141]提出一种提升邻域差异的层用于捕捉patch特征的差别，进而把这种差异送入后面的层中(感觉类似resnet的思想。(读完，https://www.jianshu.com/p/38875b0e0def,AutoReID 其实就是提出一种结合了self-attention的part-aware module方法search space中，使用NAS迭代的搜索方法寻找针对于数据集的最优结构，当然说是专门为reid设计的网络结构也没毛病。))