2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat

Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification

简述
现有的VI-ReID方法倾向于学习全局表示,全局表示的可辨识性有限,且对有噪信息的鲁棒性较差。针对(a)中全局信息问题和噪音问题:通过以下两个思路去解决:(b)模内加权部分聚合(IWPA),它通过挖掘每个模内的上下文部分信息来学习有区别的部分聚合特征。©交叉模态注意力结构(CGSA),通过融合邻域信息增强了交叉模态图结构注意(CGSA)的表示。
2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat_第1张图片

模型
2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat_第2张图片

第一部分的backbone没有太大改进,权重共享Res50的后四层,Lb为triplet loss+ id loss。
第二部分为IWPA,通过对PCB后的分part图像进行Part Attention处理,对每个part与相邻part做相关操作,通过softmax做part attention操作。再将结果与输入进行自适应融合。
2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat_第3张图片

第三部分为IWPA,提出了我们的交叉模态结构注意图,它结合了跨两种模式的结构关系来加强特征表示。其主要思想是,在两种模式下,属于同一身份的人物图像的特征表征是互利的,通过Graph Attention操作,将整个训练框架分为实例级部分聚合的有限元模型学习LP和图级全局特征学习Lg两部分。
2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat_第4张图片

Loss为:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实验
B、P、G分别为第一二三部分
在这里插入图片描述

对比试验:
2020ECCV之ReID:Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identificat_第5张图片

总结
本文的出发点是对图像上下文信息的进一步探索以及对模糊图像的噪音问题进行了探究,主要的思路是保留backbone,改进了以往文章的PCB部分,针对图像上下文信息的问题,通过PCB后的不同part做了part attention,以及针对模糊图像的噪音问题对全局图像做了graph attention。

你可能感兴趣的:(ReID,多模态,计算机视觉,深度学习,人工智能)