论文阅读13 | AGW: A New Baseline for Single-/Cross-Modality Re-ID

1. AGW主要有以下三个主要的部分

（1）Non-local Attention (Att) Block

我们采用强大的非局部注意块，来获得所有位置的特征的加权和。其中Wz是一个要学习的权值矩阵，φ（·）表示一个非局部操作，而+xi制定了一个残余学习策略。模块的输入输出维度相同。

（2）Generalized-mean (GeM) Pooling

作为一个细粒度的实例检索，广泛使用的最大池或平均池不能捕获特定于领域的鉴别特征。我们采用了一个可学习的池层，称为generalized-mean (GeM) pooling。其中pk是一个池化超参数，可以在反向传播过程中学习。上述操作近似于pk→∞时的最大池化，以及pk=1时的平均池化。用一句话说：在最低纬度上，对每个元素的p次方求均值，再开p次方。

（3）Weighted Regularization Triplet (WRT) loss

除了具有软最大交叉熵的baseline身份损失外，我们提出了加权正则化的三元组损失。其中（i、j、k）表示每个批次中三元组。P是相应的正集，N是负集。上述加权正则化方法继承了正负对之间的相对距离优化的优势 ，而且避免了引入任何额外的 margin 参数。

2. Overall Framework

在进行跨模态reid任务时，使用两分支的该网络提取特征。在两个分支中，第一层参数是不一样的，后四层参数共享，在后四层（blocks）中只在第二个和第三个block中加入non_local模块。具体的，resnet50的后四层中包含残差块的个数分别为[3, 4, 6, 3]，在第二个block中的第3、4个残差块后嵌入non_local，在第三个block中的第4、5、6个残差块后嵌入non_local。因此，总共在后四层中嵌入了5个non_local模块。

3. 实验结果

服务器结果：

-----------------SYSU-MM01数据集--------------------------

-------all search

FC:     Rank-1: 49.18% | Rank-5: 76.08% | Rank-10: 85.58%| Rank-20: 92.96%| mAP: 47.85%| mINP: 34.62%
POOL:   Rank-1: 47.57% | Rank-5: 75.88% | Rank-10: 86.41%| Rank-20: 94.46%| mAP: 47.16%| mINP: 34.59%

------indoor search

训练的时候使用全部图像，应该是这样的，训练的时候都使用全部图像，只是测试的时候不同而已。
FC:     Rank-1: 55.10% | Rank-5: 84.52% | Rank-10: 92.46%| Rank-20: 97.24%| mAP: 63.48%| mINP: 59.75%
POOL:   Rank-1: 53.73% | Rank-5: 84.12% | Rank-10: 92.50%| Rank-20: 97.28%| mAP: 62.62%| mINP: 58.93%

加入CAJ随即擦除和通道增强后
All Average:
FC:     Rank-1: 67.65% | Rank-5: 90.09% | Rank-10: 95.48%| Rank-20: 98.55%| mAP: 64.51%| mINP: 50.86%
POOL:   Rank-1: 60.87% | Rank-5: 87.74% | Rank-10: 94.49%| Rank-20: 98.48%| mAP: 60.80%| mINP: 49.05%

-------------------------------错误操作-----------------------------
All Average:训练的时候只使用indoor图像（理解有误）
FC:     Rank-1: 54.52% | Rank-5: 82.89% | Rank-10: 90.81%| Rank-20: 96.23%| mAP: 62.86%| mINP: 59.46%
POOL:   Rank-1: 52.84% | Rank-5: 82.89% | Rank-10: 91.85%| Rank-20: 97.36%| mAP: 62.03%| mINP: 58.88%

----------------RegDB数据集------------------
10次trial求平均。

Test Trial: 0
FC:     Rank-1: 70.83% | Rank-5: 81.89% | Rank-10: 86.55%| Rank-20: 92.23%| mAP: 64.19%| mINP: 50.03%
POOL:   Rank-1: 68.79% | Rank-5: 78.45% | Rank-10: 83.74%| Rank-20: 89.71%| mAP: 62.84%| mINP: 48.71%
Test Trial: 1
FC:     Rank-1: 76.17% | Rank-5: 85.39% | Rank-10: 88.69%| Rank-20: 93.35%| mAP: 66.97%| mINP: 49.97%
POOL:   Rank-1: 75.15% | Rank-5: 86.65% | Rank-10: 91.17%| Rank-20: 94.85%| mAP: 68.40%| mINP: 52.46%
Test Trial: 2
FC:     Rank-1: 72.43% | Rank-5: 82.77% | Rank-10: 87.67%| Rank-20: 91.75%| mAP: 66.61%| mINP: 52.20%
POOL:   Rank-1: 72.14% | Rank-5: 81.21% | Rank-10: 86.65%| Rank-20: 91.60%| mAP: 66.63%| mINP: 53.06%