RGB-Infrared Cross-Modality Person Re-Identification---阅读

论文地址

源码地址，python2 版本

项目地址

一 提出背景

• 多模态的研究很少，跨白天 夜晚 红外场景
  凭这点，作者问鼎顶会 top paper

二 创新点

1. 提出SYSU—MM01数据集，该数据集成为多模态研究领域重磅数据集
2. 提出 深度零度填充（ deep zero-padding）方式

作者开创 行人重识别多模态研究 先河

---

三 数据集SYSU-MM01

1.1 数据集，点击此处
SYSU : 6个camera 1个exp标签
其中 cam3 cam6 是红外场景IR，cam1 cam2 cam4 cam5 是真实场景RGB


1.2 分别对应下图

1.3 对比其他数据集

---

四 论文内容

【第 1， 2 ， 3 行】在三种网络框架下（one-stream 和 two-stream 以及 Asymmetric FC Layer）运行了SYSU数据集，证明了跨模态的SYSU数据集有效

【 绿色框 】表示参数共享。共享参数的方式（权重共享）源于某篇paper的idea
【 蓝色框或者红色框 】在shallower layers 参数不共享
【第 4 列 】deep layers

【第 1 列，第 2 /3 行】Domain1/Domain2 input 是 RGB image或者IR image
【第 1 列，第 1行】Mixed input是图像与零度矩阵的结果，如下图所示

即 Mix = RGB && zero padding 或者 IR && zero padding

【第 1 列，第 4行】在 One stream 框架下，证明了深度零度填充（ deep zero-padding）方式是有效的，能够自主evolving RGB 与IR 图像节点 。是将两种Mix（Mix-RGB和Mix-IR） 以共享参数的方式结合使用，具体如下图

即【fig5 第 2 列，第 1 个矩阵框】是 Mix
【fig5 第 2 列，第 6 个矩阵框】是 Mix

作者通过改进one-stream，使得one-stream在前向传播中实验效果等同于two-stream前向传播效果，如下图所示，其中Domain selection sub-network就是fig5

四 训练

SYSU数据	行人数量（491 IDs）
training 阶段	296
validation 阶段	99
testing 阶段	96

testing 阶段	all search 或者 indoor search 方法
RGB	候选集 gallery set
IR	查询集 query set

testing 阶段 all search	sigle / multi (随机选取1—10张)
RGB	cam1 cam2 cam4 cam5
IR	cam3 cam6

testing 阶段 indoor search	sigle / multi (随机选取1—10张)
RGB	cam1 cam2
IR	cam3 cam6

参数设置	数值
strict threshold	0.01
loose threshold	0.05

---

五 实验结果

all search	mAP
sigle-shot	15.95
Multi-shot	10.89

indoor search	mAP
sigle-shot	26.92
Multi-shot	18.64