2020 ArXiv之跨模态ReID：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-T

Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person Re-Identification
简述：
采用双流网络来解决多模态识别中最具挑战性的跨模态差异问题。在本文中，我们探讨了两流网络应该共享多少个参数，这在现有文献中仍未得到很好的研究。同时，提出了提出了hetero-center based triplet loss，通过将anchor与其他所有样本的比较改为anchor与其他所有样本中心的比较，来减少传统的triplet loss的严格约束。
模型：

该模型主要由三部分组成:(1)two-stream backbone network同时探索参数共享(2)部分级特征提取block和(3)loss：hetero-center based triplet loss 和softmax loss。
1.two-stream backbone network同时探索参数共享：
将backbone为res50分为6种情况，如下表的s0-s5，可以看到s2为最佳方案，即上图所示的network。

2 部分级特征提取块
PCB+GeM（以前都写过）：
PCB：Hetero-Center Loss for Cross-Modality Person Re-Identification
a generalized-men （GeM） pooling：Beyond part models: Person retrieval with refined part pooling (and a strong convolutional baseline)
3 loss：hetero-center based triplet loss 和softmax loss
3.1传统triplet loss：

3.2改进的mine the hard triplets loss：
In defense of the triplet loss for person re-identification

3.3 本文提出的Hetero-center based triplet loss：

解释：将具有相同身份标签的中心从不同模态拉近，而将具有不同身份标签的中心推远，无论来自哪一模态。我们比较的是中心与中心的相似性，而不是样本与样本的相似性或样本与中心的相似性。星星表示中心。不同的颜色表示不同的身份。
同一模态同一身份的表示：

Hetero-center based triplet loss：

优点：①：参数量小

②：将基于样本的triplet loss降低为基于中心的triplet loss，同时保留了在共同特征空间中RGB和T上同时处理类内和类间变化的特性。一方面，对于每个身份，最小化唯一的跨模正中心对距离可以保证类内特征的紧致性。另一方面，最困难的负向中心挖掘可以保证类间特征的可分辨性。结果比较：

附上与其他跨模态ReID方法的比较实验：

总结：
本文首先通过实验的方式验证了在跨模态Reid中权重共享应该在res50的后三个block还算是后两个block，以往的所有方法都是权重共享后两个，但本文经试验结果表明，后三个block进行权重共享效果更好，其次，PCB和GeM都是常见的方法，本文还有个共享在于将HC loss和triplet loss相结合，在SYSU数据集的mAP和Rank1能达到57.5%和61.6%。