ICCV2019-行人重识别-Second-order Non-local Attention Networks for Person Re-identification论文阅读

动机：

作者总结了常见的Part-base的re-id网络的常见问题，即使用多part虽然会增加精度，但是却忽略了part的之间的联系。所以Non-local是一个可以整体解决多part的办法。
本文整体思路大概如下：

• 基于BFE的架构
• 加入DropBlock模块，这样有利于对于Non-local的学习
• 改进了Non-local 模块，改进一阶为二阶

创新：

作者对于本文最大的创新点为Second-order Non-local Attention Networks以下简称SONA，看了他对这个的介绍基本是在介绍Non-local Attention Networks，这都是之前self-attention的东西，所以他到底创新了啥。来看看和原版网络结构的对比：

图1为SONA的结构，图2为Non-local解构，其改进为将原版的相关矩阵（即原特征图flatten后转置相乘）变为协方差矩阵，这样完成从一阶到二阶的升级，原因是二阶特征优于一阶。

框架

1. 框架结构：基本参照BFE的结构，单一分支。
2. 特征：使用了Global Max Pooling和Global Average Polling后的特诊进行学习。其中Global Average Polling后的特征通过了DropBlock的卷积正则化。
   
   图c为卷积正则化，因为特征是局部相关性很强的，所以丢弃单独一些非局部的特征往往对网络没有太大的提升，但是卷积正则化可以丢弃这些局部区域的集合，这样就促使网络去学习其他区域的信息，防止过拟合，类似随机擦除的思想。
3. 损失函数：LS CE loss+ BH triplet loss
4. backbone：Resnet-50，替换部分卷积为空洞卷积，这样保证了特征图大小的一致性，也提高了特征位置的一致性。

实验

实验效果展示，绿点为选中的点，红点为相关点，可以看出相关性还是很高的。尤其是人的区域和背景区域的选定。

实验结果如上表所示：

1. market上95.18的basline已经吊打一片了，作者的baseline是 backbone+global branch+local branch，之后感觉可以试试这样的结构。
2. 对于DB模块和BFE模块的实验的效果并不明显，但假如SONA后效果提升明显。

疑惑

本文的重点应该是SONA模块，但是并未与原Non-local进行对比，以至于我并并不明白这个改动到底有无效果的提升。