遮挡行人重识别论文阅读(2020)

1.High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification（CVPR2022,中科院自动化所，旷视）

模型由三大部分组成：

1.一阶语义信息的提取（semantic feature）：

使用一个CNN骨干网络得到feature map和姿态估计器得到关键点heat map，利用heat map对feature map进行加权池化得到k个关键点特征和1个全局特征，Vs（（k+1）*d）

2.高阶关系学习（方向自适应的图卷积层）（relation feature）

图的紧邻矩阵的定义：首先计算一个差异特征矩阵Aadp，每个点跟其他节点权重都相同，权重与当前节点跟全局节点的差成负相关。使用差异特征矩阵Aadp跟预先设定的邻接矩阵A相乘，得到最终的邻接矩阵。并结合了残差网络的思想，利用图卷积求得高阶关系特征Vr（（k+1）*d）

3.高阶人类拓扑学习（图匹配策略）（topology feature）

 对于输入的特征对，利用图匹配策略（GM）得到匹配矩阵U，相互融合信息得到输出特征

                        

 4.损失

利用CNN和姿态估计提取的K+1个semantic特征，计算id和triplet损失
利用图卷积提取的K+1个relation特征，计算id和triplet损失
利用图匹配提取的topology特征对，计算对比损失，也就是二分类交叉熵

5.匹配

先计算query与所有样本的realtion特征的距离，之后对topk特征计算topology特征距离，进行加权。

2.Identity-Guided Human Semantic Parsing for Person Re-Identification（ECCV2020中科院自动化研究所模式识别实验室）

之前存在的问题：

为了解决行人重识别不对齐的问题，第一类方法采用水平分块，方框自定位或注意力的方法，这些方法比较粗糙会受到背景的干扰

第二类方法利用姿态估计或语义分割，依赖于外部模型的精度，同时这些模型只能识别人体部件，但对于行人重识别任务，有的时候行人的所属物也很重要，例如书包帽子等，有时候图片中同时存在两个行人也会造成干扰。

本文提出一个利用弱监督对人体部件和所属物进行分割的语义分析方法（identity guided human semantic parsing approach (ISP)），通过级联聚类的方法打弱标签，并迭代的进行训练。级联聚类是指，首先根据特征图的激活情况，对前景和背景进行聚类，之后对于同一个行人的所有图片，对前景像素进行聚类，聚类对特征向量进行l2归一化。利用聚类结果给人体部件和所属物打上弱标签。

 模型整体流程为：利用骨干网络得到特征图，利用特征图对人体部件和所属物进行分割得到part prediction图，据此对特征图进行加权池化，分别得到前景特征和k个局部特征。进行匹配时与PGFA相同，只对共享部分的特征进行比对。