2020Arxiv之ReID：Deep Learning for Person Re-identification: A Survey and Outlook

Deep Learning for Person Re-identification: A Survey and Outlook

本文是夜盲团队在今年发表的综述类文章：

论文地址：

https://arxiv.org/abs/2001.04193v1

AGW开源地址：

https://github.com/mangye16/ReID-Survey
当前的问题及概述：
作者调查了245篇近两三年的行人重识别（Person Re-identification）论文，分类为封闭世界ReID与开放世界ReID，综述了该方向的技术进展，对未来ReID技术发展给出了几个有价值的方向。下图可见，在是否是异质数据、标注是否完备、是否含有噪声等方面，开放世界ReID更接近实际应用。

本文做了3方面工作：
1)对现有的深度学习方法进行了深入全面的分析，讨论了它们的优势和局限性。
2)为未来的开发设计了一个新的强大的AGW基线和一个新的评估度量(mINP)。AGW实现了最先进的性能，在单一和交叉模态Re-ID任务。mINP为现有的CMC/mAP提供了一个补充指标。
3)讨论几个重要的研究课题，以缩小封闭世界和开放世界应用之间的差距，向现实世界的Re-ID系统设计迈出一步。
ReID综述：
1.ReID技术的五大步骤：
1）数据收集；2）包围框生成；3）训练数据标注；4）模型训练；5）行人检索

2.CLOSED-WORLD PERSON RE-IDENTIFICATION
1）特征表示学习方法：

a)全局特征，学习每个人图像的全局表示;
b)局部特征，学习部分聚合的局部特征;
c)辅助特征，利用辅助信息学习特征表示（分割，viewpoint，domain，GAN）
d)视频特征，利用多图像帧和时间信息学习视频表示.
2）度量学习中的loss函数设计：

常用的3中loss：(a) Identity Loss (b) Verification Loss © Triplet Loss以及他们的组合
Id loss：常用交叉熵loss

Verification Loss：一种为contrastive loss，一种为binary verification loss
其中contrastive loss:其中，ij为正样本时，δij = 1，相反为0

带有交叉熵的binary verification loss：其中， fij = (fj − fj)2 表示i，j两样本的差分特征

Triplet loss：

Online Instance Matching (OIM) loss：在线学习loss，一个内存库{vk, k = 1,2，··，c}包含存储的实例特性，其中c表示类号：

3）重排序优化：由易到难进行re-ranking排序

4）closed-world setting dataset：
约11个dataset:

评价指标为CMC（rank-n）或mAP
State-of-the-arts(SOTA) ：

3 OPEN-WORLD PERSON RE-IDENTIFICATION：
1）异质数据ReID
基于深度ReID；
文本到图像ReID；
可见光到红外ReID；
跨分辨率ReID；
2）端到端ReID
纯图像/视频的ReID；
多摄像头跟踪的ReID；
3）半监督和无监督的ReID
其中无监督ReID SOTA方法统计：

4）噪声鲁棒ReID
5）开放集合ReID
4.AN OUTLOOK: RE-ID IN NEXT ERA
1）mINP:本文提出的新的评价标准
设计了一个计算效率的度量，即负惩罚(NP)，它度量惩罚来找到最难的正确匹配：

Rhard表示最难匹配样本的rank位置，Gi表示i的正确匹配总数。
为了与CMC和mAP的一致性，我们倾向于使用逆负惩罚(INP)，一种NP的逆运算：

在不同模型比较:

2）提出了一个新的baseling:AGW

I：Non-local Attention (Att) Block
采用强大的非局部注意块得到所有位置特征的加权和：

II：Generalized-mean (GeM) Pooling

III：Weighted Regularization Triplet (WRT) loss

跨模态ReID比较：

5.Under-Investigated Open Issues
1）Scalable Re-ID
实现快速检索、轻量级网络、根据硬件配置自适应地调整模型
2）Domain Generalized Re-ID
多域（摄像机）数据集、多质（多模态等）数据集、
3）Minimizing Human Annotation
少标注、学习虚拟数据
4）Dynamic Camera Network
5）Domain-Specific Architecture Design