High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identificat阅读笔记

论文：High-Order Information Matters: Learning Relation and Topology
for Occluded Person Re-Identification
来源：CVPR 2020（旷视研究院）
论文地址：https://arxiv.org/pdf/2003.08177.pdf
动机：从这篇论文的名字也可以发现，这篇论文主要解决行人重识别中的遮挡问题。行人图像的遮挡问题一直以来都是reid的难点，旷视研究团队在这篇论文中提出了一个新的框架用以解决遮挡问题，并取得了一定的效果。

方法思路：

上图便是整篇论文的总体设计思路，其分别设计了三个模块（S,R,T）。

整体思路简单来说可以总结为以下三个步骤：
1、特征提取，使用姿态估计提取图片关键点局部特征
2、在提取到局部特征之后，为了综合利用这些关键点的信息，利用图卷积将提取到的关键点信息融合
3、对于两张有遮挡的行人图片，基于图匹配的方式来计算两张图的相似度并训练模型，也就是匹配出那些地方没有被遮挡，哪些地方被遮挡了，分析出可利用的特征，从而更精准的计算两张图的相似性，判断是否为同一个行人。
整体思路十分严谨，每一步都有其意义，S、R、T三个模块分别为特征提取、特征融合、匹配出具有区分度的特征进行识别。

分别介绍三个模块的大致思路：
S:
1、对于每张输入的图片，输入进backbone网络中（论文中使用resnet50)提取出特征图feature map
2、每张图片再分别经过姿态估计模块（Pose Estimator）提取到人体13个关键点的热度图
3、将13个关键点的热度图和对应图片的feature map全局特征图相乘，得到对应关键点的local feature,再将每张图的feature map做pooling操作得到全局特征（global）。
通过S模块之后，每张输入图片都可以提取到14个特征图（13个关键点的局部特征+1个全局特征）

R:
首先明确该模块的作用：如何才能更好的利用局部特征呢？加入关系。将上一个模块S提取到的局部特征信息融合，得到不同局部特征之间的relation-information
1、将得到的14个特征图送入本文提出的方向自适应的图卷积层（ adaptive directed graph convolutional (ADGC)），得到新的特征信息

具体步骤如下图：
1）先将局部特征Vl和全局特征Vg做减法操作，得到局部特征和全局特征之间的差异特征，差异值越大，说明特征信息越不重要，属于离群信息，也就是可能是被遮挡的局部特征；差异值越小，代表和全局特征越相似，该局部特征也就越重要，起的作用越大。
2）将得到的差异特征矩阵Aadp和预定义的图邻接矩阵A做点乘，得到新的邻接矩阵（表示特征点之间的relation）,再和Vl做矩阵乘法。
3）本身局部特征Vl和关系特征融合（concat）,得到带有关系的拓扑图结构信息特征。
通过R模块之后得到的新的13个关键点的局部特征不仅有自身的特征信息还携带了相关节点的特征信息。

T:
1、输入两张图像（经过了前两阶段的后果）
2、计算它们之间的相似度（其实输入的是两组，第一组正样本对，第二组负样本对，计算三元组损失）
tip:在使用图匹配计算相似度时，作者还额外加了一个验证损失（Verification Loss）
通过该模块提取到的特征信息可以减少遮挡部位的影响，聚焦于未遮挡部分的有效信息

具体步骤如下图：

1)对于两张图片的输入特征V1,V2,先经过全连接层（fc+relu）后进行图匹配操作（GM）,得到一个关系矩阵U（代表两张图片中每个关节点之间的一一对应关系）。
2）将关系矩阵U与v1做矩阵乘法，提取V1中与V2有关系的特征，再和V2特征融合（concat）,最终得到新的V2out输出特征，该特征包含v2本身特征信息和V1中与V2有关的信息。
3）将新得到的V1out和V2out做损失优化。

实验结果：在遮挡数据集上实现SOTA