跨模态行人重识别-阅读笔记1《HPILN: A feature learning framework for cross modality person re-identification》

 

一.HPILN论文链接

链接1：（最终版已录用）

链接2：（arxiv非最终版）

二.跨模态行人重识别简介

现有的行人重识别研究大部分集中于RGB图像的研究，然而RGB摄像头在黑暗处不能获取清晰图像，现有的摄像头往往集成了RGB摄像头和红外摄像头(IR Camera)的功能于一身，在黑暗处使用红外摄像头获取图像。存在这种情况：嫌疑人在黑暗与亮光处穿行，从而被RGB摄像头和红外摄像头拍摄到，则产生这样的需求：需要判断RGB摄像头拍摄到的行人和红外摄像头拍摄到的行人是否是同一人。2017年，郑伟诗团队公开了首个跨模态行人重识别数据集（SYSU-MM01），以及对应的benchmark。

RGB-IR ReID领域，两年来出现了许多优秀的论文：

• zero-padding:《RGB-Infrared Cross-Modality Person Re-Identifification》
• cmGAN ：《 Cross-modality person re-identification with generative adversarial training》
• BDTR：《Visible thermal person re-identification via dual-constrained top-ranking》
• eBDTR：《Bi-directional center-constrained top ranking for visible thermal person re-identification》
• HSME：《 HSME: hypersphere manifold embedding for visible thermal person re-identification》
• D2RL：《Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identifification》

三.HPILN介绍

3.1 创新点

• 提出了一个端对端的特征学习框架，在RGB-IR Re-ID数据集SYSU-MM01上达到了最高的精度。
• 首次将RGB-RGB Re-ID神经网络迁移到RGB-IR Re-ID任务中，分析并验证了可行性。
• 设计了一种新的损失函数：hard pentaplet loss，它可以有效处理RGB-IR Re-ID中的跨模态变化和内模态变化。此外，hard pentaplet loss和identity loss相结合可达到更高的精度。

3.2 框架图

3.2.1 训练batch

每次训练输入2PK张图片，其中P代表在训练集中随机挑选P个行人，每个行人挑选K张红外图片和K张RGB图片。

3.2.2 Feature Extractor模块

该模块的功能是使用CNN进行特征提取，而这里的CNN是直接采用现有的单模态行人重识别网络（可以看出，作者是个实用主义者=lazy boy）。作者在文章中尝试了五种单模态reid网络(Res-Mid,MGN,PCB,MLFN,BFE)，效果都挺不错的。需要注意的是，并不是所有的单模态reid network用在该框架中都适用于RGB-IR Re-ID(在实验部分有讨论)。

3.3.3Feature Embedding 模块

该模块是进行困难采样。具体地，对每张训练图片，在训练batch中(2PK张图片)找到全局最难正样本，全局最难负样本，跨模态最难正样本，跨模态最难负样本。

3.3.4 Feature Learning 模块

该模块由hard pentaplet loss和identity loss组成(HPI loss)。

hard pentaplet loss由困难全局三元组(hard global triplet)和困难跨模态三元组(hard cross-modality triplet )损失组成：

• hard global triplet loss:

• hard cross-modality triplet loss

identity loss用的是softmax loss。

四.实验

4.1 对比试验

 4.2 特征可视化实验

END