跨模态reID之JSIA-ReID框架的相关概念与结构分析

接论文阅读笔记Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification 在此对文章所提及的方法JSIA-ReID做一个解读。

关于JSIA-ReID的详细介绍：

该方法包括一个用以生成跨模态配对图像的生成模块G和一个用来学习set-level和instance-level对齐特征的特征对齐模块F

Cross-Modality Paired-Images Generation Module

如Figure 2(b)所示，在RGB-IR任务当中，来自两个模态的训练图像是不配对的，这为缩小模态间差异造成来了更大的困难。为了克服以上困难，该方法提出的通过从exchanged features中分离特征和编码来生成成对图像。我们认为图像可以被分解表示为模态不变特征和模态特有特征。因此，对于未配对的图像，通过分离和交换它们的样式信息，我们可以生成配对图像，其中两个图像具有相同的内容信息(如姿势和视图)，但具有不同的样式信息(如服装颜色)。

Features Disentanglement.

首先，本文用3个编码器来进行特征分离，图中可以看到式1、2中每个字母代表的含义，Ei为共有特征，Es为特有特征：

Paired-Images Generation.

Reconstruction Loss.

一个简单的监督，就是驱动分离后的特征去重建它们的原图 。

Cycle-Consistency Loss.

公式（4）中的重建损失，无法监督跨模态成对图像的生成，而且生成的图像可能不包含过期的内容（？？） 和风格信息。

受CycleGAN启发，在此提出了一个 cycle-consistency loss 来保证生成的图像可以迁移回它的原图上，这样，一致性损失则进一步限制了生成样本的空间。这个cycle-consistency可以表示如下：

GAN loss.

由于重建损失和一致性损失所所生成的图像是模糊的，为了使生成图像更加逼真，我们在每个模态上应用了GAN Loss（Goodfellow最先提出经典公式，在图像生成任务中体现出了有效性）。特别的，我们在此引入了两个判别器：

Feature Alignment Module

Set-Level Feature Alignment.

集合级别的对齐 为了缩小模态差异，大部分方法会尝试利用dual path 和 GAN loss为不同的模态学习到一个共享的特征空间 然而，那些方法仍然未能从根本上去除模态独有信息，而这些模态独有信息被编码至特征空间，则会损害整体的性能。在本文方法中，

Instance-Level Feature Alignment.

本文使用生成器生成的交叉模态配对图像（paired-image）来进行实例级（instance-level）对齐。首先利用实例级编码器Eil将set-level对齐的特征M映射到一个新的特征空间T，即T = Eil(M)。

其中，p1 = C(t1)和p2 = C(t2)是x1和x2对所有恒等式的预测的可能性，t1和t2是x1和x2在特征空间T中的特征。

Identity-Discriminative Feature Learning.

为了解决模态内差异，following (Zheng, Yang, and Hauptmann 2016; Hermans, Beyer, and Leibe 2017)
我们对 实例级别对齐空间T中的 feature maps T 进行了平均池化，以得到对应的特征向量 V 。根据真实图像X, 我们利用classification loss 和 triplet loss 来优化特征向量 V。

Overall Objective Function and Test

综合目标函数：

实验

数据集：

CM ReID常用数据集：RegDB、 SYSU-MM01、DBPerson-Recog-DB1
RegDB：共有412个任务ID。每个人有10张可见光图像和10张远红外图像，一半用于训练，一半用于测试。
SYSU-MM01：491和人物ID，296个用于训练，99个用于验证，96个用于测试，287,628 RGB images and 15,792 IR images。

评价方法

实现细节（作者以将代码开源，具体看code即可）

与SOTA对比

模型分析

消融实验

为了帮助读者更好地理解 集合级别对齐(SL) 和实例级别对齐（IL）,作者对单模态行人和跨模态行人的相似度分布做了可视化（这里的相似度使用余弦距离进行测量的）。

首先，对比图4(a)和图4(b)，我们可以发现，即使不使用SL和IL，模型也可以很容易地拟合训练集，而不能推广到测试集。正如我们在图4（b）中看到的那样，两种相似性严重重叠。这表明，简单地在训练集上拟合身份信息并不能很好地减少交叉模态的变化。其次，在图4©中，我们可以看到类内相似度变得更加集中，而类间相似度也变大了。这也就意味着SL引入了一些实例的不对齐，对整体性能造成损害。最后，在Figure4©中我们可见，IL提升了类内相似度，同时没有改变类间相似度。综上可知，实验结果证明instance-level很有效。

参数分析

图像可视化