CVPR 2020之ReID：Cross-modality Person re-identification with Shared-Specific Feature Transfer

Cross-modality Person re-identification with Shared-Specific Feature Transfer

当前的问题及概述：
现有的研究主要集中在通过将不同的模态嵌入到同一个特征空间中来学习共同的表达。然而，只学习共同特征意味着巨大的信息损失，降低了特征的差异性。
在本文中，提出了一种新的跨模态共享特征转移算法(cm-SSFT)来解决上述问题，以探索模态共享信息和特定特征在提高再识别能力的潜力。

图1可以看到，现有的模态共享特征学习方法由于不能从其他模态中提取特定的信息而放弃了大量有用的特定线索，而本文的算法尝试在跨模态邻近吸引力模型的基础上引入模态特征，有效地利用了每个样本的共享信息和特定信息。
模型及loss：

输入图像首先被输入到two-stream特征提取器中，以获得共享的和特定的特征。然后使用shared-specific transfer network (SSTN)模型来确定模态内和模态间的相似性。然后在不同的模态间传播共享和特定特征，以弥补缺乏的特定信息并增强共享特征。在特征提取器上增加了两个项目对抗重建块(project adversarial and reconstruction blocks)和一个模式适应模块(modality- adaptation module)，以获得区别性、互补性的共享特征和特定特征。
1.Two-stream feature extractor
Two-stream feature extractor提取了RGB和IR的特有体征（绿色和黄色）和共有特征（蓝色），公式1中H表示共有特征，P为特有特征：

为了保证这两类特征都是有区别的，分别在每一类特征上加入了分类损失Lc，以分类确保特征可以区分输入的身份:

此外，在特定特征上加了一个单模态三重态损失(LsmT)，在共享特征上增加了一个交叉模态三重态损失(LcmT)，以获得更好的识别性：


2.Shared-Specific Transfer Network
对提取到的特征进行统一的特征表示，我们用三段格式表示:[RGB-specific;共享;IR-specific]如下（0表示0填充，；意为级联操作）：

2.1Affinity modeling
使用common feature和specific feature建立成对亲和模型，目的是使得模态内及模态间的每个样本向关联:

d(a, b)是欧几里得距离度量函数，分别取Pmi，Pmj，Hmi，Hm‘j：

亲和力矩阵如下，其中T(•，k)是近邻选择的函数。它保持矩阵每一行的top-k值不变，并将其他的设为0（即保留权重最大的K个值，其他为0）：

亲和力矩阵可以看做是权重，相似度越大，距离越小，权重越大。
2.2Shared and specific information propagation
这个部分是参考图卷积的一些理论进行的。亲和矩阵表示样本之间的相似性，SSTN利用这个亲和矩阵来传播特征。在此之前，RGB和红外模式的特征在行维中连接，每一行存储一个样本的特征：

求得亲和力矩阵A的对角阵D，经过和融合操作后，得到了包含了两个模态的特有特征和共有特征，Z~计算公式如下，σ为relu操作，w通过全连接层实现的，是SSTN学习到的参数：

最后将这些传播的特征输入到特征学习阶段，优化整个学习过程。传输的特征T表示为:

根据共同特征学习原理，利用CE loss进行特征学习:

由于特征既包括两种模式的共有特征，也包括两种模式的特有特征。在ranking loss中改进了triplet loss，取名cm-triplet loss LcmT(T)和sm-triplet loss LsmT(T)：

3.Shared and specific complementary learning
SSTN探索了一种利用两者共享的特定特性来生成更有区别的表示的新方法。但是，共享和特定特性之间的信息重叠仍然会影响整体性能。为了解决这一问题，利用模式自适应，从共享的特征中过滤出特定模态特征。
3.1Modality adaptation for shared features
为了将共享特征纯化为与模态无关的特征，我们利用三层全连接的模态鉴别器对每个共享特征的模态进行分类：

在生成阶段，backbone network将生成特征来欺骗判别器，在判别器判别阶段，modality discriminator会尝试对每个共享特征的modality进行分类。这个min-max game使得common feature不包含任何模态相关的信息。
3.2Project adversarial learning for specific features.
为了使特有特征与共享特征不相关，提出了对抗策略。在训练阶段，我们将特有特征投射到相同样本的共享特征上。利用投影误差作为损失函数：

θmp表示模态m的投影矩阵，生成阶段，backbone network会生成与共享特征无关的特定特征来欺骗判别器；在判别阶段，θmp的优化将尝试将特定特征投影到相应的共享特征。这个min-max game使其学习到了不同于共享特征的特定特征。
3.3Reconstruction enhancement.
前两部分学习到了共享特征和特定特征之间不包含相互关联的信息，为了增强这两个特征的完整性，我们在每个模态的特征之后使用一个解码器网络来重建输入。我们将共享的和特定的特性级接起来，并将它们提供给解码器De：

L2 loss来评价重建图像的质量：

4.overall：
Feature learning loss：


Min-max loss：

ΘN表示除了鉴别器外的整个网络的参数。交互式学习过程是：

实验：
与其他框架的比较：

这里的指标包含了随机擦除的数据增强，没有数据增强的情况下，数据集rank-1和mAP分别到52.4和54.1。
消融实验（RegDB）：

重构实例（第1 - 4行分别对应原始图像、共享特征重构、特定重构和所有特征重构结果）：