跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification

Hetero-Center Loss for Cross-Modality Person Re-Identification

Abstract

跨模态行人重识别任务可以解决光照不佳环境中RGB单模态行人重识别的局限性。现有的研究主要集中在扩大特征之间的类间差异上，很少有研究调查如何提高类内跨模态特征相似性。

1）提出异质中心损失（HC loss），通过约束类内两个模态的中心距离，以减少类内跨模态变化。

2）提出了一种基于分块的简单高性能网络体系结构，在交叉熵（CE）和异质中心损失（HC）联合监督下，训练该网络以达到扩大类间差异，增强类内跨模态相似性的目的。

1、Introduction

除了HC loss以外，提出了一种双流局部特征网络（Two-Stream Local Feature Network，TSLFN），该框架通过学习局部特征表示以解决问题。框架分为两个独立的分支，以两种方式提取特征，每个分支都包含一个backbone，通过backbone输出特征图。采用传统的平均池化将特征图均匀地进行分块，以进行局部特征的提取。为了将不同模态的特征映射到统一的特征子空间内，对两个分支的全连接层使用共享权重。

2 、Our Approach

2.1、问题描述

传统的损失函数无法监督网络提取模态共享信息。例如CE loss：

交叉熵的目的是提取特定于身份的信息进行分类。但是损失函数不会约束网络有效地提取模态共享信息。因为某些模态特定信息也是引导网络正确预测身份的关键信息，例如：衣服的颜色等，但是在跨模态任务中，颜色信息并不存在于每个模态中，因此交叉熵loss无法完美实现目标。

上图显示了在CE loss监督下的典型特征分布，从图中可以看到CE loss帮助扩大行人类间差异。但是同一类行人内，不同模态下的特征分布存在巨大差距。

2.2、异质中心损失（Hereo-Center Loss）

直观地说，想限制每个类两个模态特征分布之间的距离，但是很难计算，因此取其两个模态特征分布的中心，惩罚中心距离。为此，提出了HC loss：

其中，

代表第i个人两个模态特征分布的中心。U代表行人类别总数。M和N分别表示第i类人中RGB和红外图像的数量。

理想情况下，当在每个epoch内，更新权重时，应该更新整个训练集中每个类中两种模态的中心。但是这需要大量的计算成本。所以，采用mini-batch策略，每次只在一个batch中更新中心。提出了一种改进的小批量采样策略：在每次迭代中，从训练集中随机选择L个身份，随机选择每个选定身份的T张RGB和T张红外图像以形成一个mini-batch，因此batch的大小为2xLxT。多次迭代过程中采用随机采样，故而mini-batch中的约束和全局约束具有同样的效果。

由于HC损失仅提高了类内跨模态相似性，无法学习判别特征以扩大类间差异。所以通过交叉熵和HC损失联合监督。总loss为：

超参数用来平衡两个损失函数的贡献。下图显示了不同权重超参数下的特征分布。

采用随机梯度下降优化方法（SGD）。

2.3、双流局部特征网络

基于RGB单模态行人重识别的一种经典方法，是将行人划分为水平块以提取局部特征，这些局部特征连接起来后代表全局特征。由于身体结构是行人的固有属性，所以可用于学习模态不变特征表示。为此，提出了双流局部特征网络（TSLFN）,结构如下图，该网络包含两部分：特征提取器和特征嵌入。

A、特征提取器
采用双流网络分别提取RGB和红外图像的特定于模态信息。考虑到训练集数据有限，采取预训练的方式，backbone采用ResNet50，不同之处在于：删除了ResNet50中最后一个下采样操作，这样可以增强特征的细粒度表示。然后，将从backbone输出的特征图在水平方向上均匀地划分为p条，每个水平块即表示局部特征向量。之后采用全连接层减少每个局部特征向量的特征维数。为了弥合两个模态之间的特征差异，全连接层共享权重。

B、特征嵌入
特征嵌入的目的是监督网络学习可靠的特征表示，从而达到两个目的：扩大类间差异和提高类内跨模态相似性。对于HC loss，在计算损失之前，特征向量经过L2归一化。对于CE loss，将局部特征向量输入到分类器中，该分类器由FC层和softmax组成，需要使用独立的参数将p个局部特征向量输入到不同的分类器中，然后分类器分别预测每个特征向量的身份。

3 、EXPERIMENTS

在SYSU-MM01上与最新方法的对比实验：

消融实验以验证HC权重超参数取0.5的原因：

作者认为局部特征中模态共享信息不足，因此网络无法拉近两个模态中心，还可能会导致过拟合。

而小批次采样策略中T的选择，也经过消融实验对比。

最后附上论文链接，需要请自取：https://arxiv.org/ftp/arxiv/papers/1910/1910.09830.pdf