论文阅读：Parameters Sharing Exploration and Hetero-Center based Triplet Loss for Visible-Thermal Person

1、问题
跨模态行人重识别解决模态差异问题的传统方法是将不同模态的特性映射到一个共享子空间中提取与模态无关的共享的特征，后来出现了双流网络提取模态特有特征和共享特征，这种方式对于鉴别特征的提取更有效。但是这些跨模态行人重识别模型的baseline不够strong和effective，因此，本文提出了一些方法得到了更强的baseline。

2、思想
此前的工作中已经有使用双流网络的，但是还没有系统的研究双流网络应该共享多少参数，本文以ResNet-50为backbone，研究了共享多少参数使得双流网络的效果最好，最终选择后三个block共享参数提取共享特征；本文采用PCB切块的思想，将提取的共享特征图切块处理，对每一块计算loss监督，将所有块contact，得到global feature。最后本文改进了传统的triplet loss，采用hetero-center triplet loss，减小了传统loss的限制，能够很好地处理不好的样本。

3、方法
本文方法整体结构图如下，由双流网络、PCB和hc_triplet loss三部分组成。

3.1、Two-stream backbone network
此前双流网络已经提出，但是还没有讨论使用多少共享参数合适，本文对此做了研究。采用ResNet-50作为backbone，将ResNet-50分为五个阶段，做了对比实验，按下表的结构分配共享层个特定层：

3.2、Part-level feature extraction block
本文采用了切块的思想，对backbone提取的特征图进行切块处理，以获得part-level feature，然后将所有块pooling，再contact起来。不同于传统的mean pooling和max pooling，本文对于不同块的pooling采用的是GeM的方式，计算公式如下：

消融实验证明了GeM pooling的方式比mean pooling和max pooling的效果更好。

3.3、The hetero-center based triplet loss
传统的triplet loss对于每一个样本对计算loss，如果类内存在不好的样本，会对网络产生不好的影响，比如同一类但是并不相似的样本，或者不同类但是很相似的硬样本。因此，本文提出了hetero-center triple loss，即对于同一类样本取一个质心，然后使用质心样本去计算triplet loss，从而减小坏样本的影响，示意图如下图所示：



4、实验
消融实验证明了hc_triplet loss比传统的triplet loss和learning center loss更有效：



总结：本文没有太多的创新点，双流网络和PCB早有人提出，hc_triplet loss算一个创新点，但是从实验结果看，hc_triplet loss对于性能的提升并不多，本文的提点主要是PCB做了较大贡献。