使用中间X模态的跨模态行人重识别

引入X模态作为辅助，将红外线--可见光跨模态学习转化为X-IR-V三模态学习，提出了一个X-红外-可见光(XIV) ReID跨模态学习框架。首先X模态由轻量型网络生成，其次，在 xiv 框架下，跨模态学习由一个精心设计的模态间隙约束引导，信息交换跨越可见、 x 和红外模态。

基于红外图像的图像主要包括结构和形状信息

X模态是一种伴随辅助模态，用于协调红外和可见光。

 

一个轻量级X模态生成器和一个权重共享XIV跨模态特征学习器，通过权重共享，特征学习器联合适应三种模态，并在公共空间中生成模态不变的特征，在公共空间中可以高效地执行跨模态人ReID。

通过综合考虑红外-x 跨模态差异、红外-可见跨模态差异以及各模态的约束条件，设计了一个模态间隙约束，通过学习过程中的反向传播来优化学习过程。

MRG：模态各自差异约束。

CMG：跨模态差异约束

 

 

输入I 获得最接近的Vj j的下标或得过程：

计算红外线和可见光 红外线和中间模态的欧几里得距离之和的最小值时的下标j。

X模态生成：

非线性轻型网络包含两个1×1卷积层和一个ReLU（Krizhevsky、Sutskever和Hinton 2012）激活层。它首先将可见图像转换为单通道图像，然后重建三通道图像。第一个1×1卷积层将原始三通道可见光图像映射为一通道图像，如红外图像。另一个1×1卷积层用于将非线性激活的单通道矩阵映射为三通道X模态图像，作为原始可见图像。

权重共享特征学习：

在公共特征空间中学习交叉模态信息，X模态通过模态差异约束来连接跨模态信息交流。

 

考虑到将红外图像视为查询图像的评估协议，组合跨模态间隙约束以红外图像为目标，强制正可见光图像和X图像接近红外图像。

采用交叉熵身份损失和改进的三重态损失来优化特征学习