AANet: Attribute Attention Network for Person Re-Identifications阅读笔记

AANet: Attribute Attention Network for Person Re-Identifications

作者：Chiat-Pin Tay, Sharmili Roy , and Kim-Hui Yap. CVPR 2019

1. Motivation

属性信息对于提升ReID性能是有效的。作者提出将属性分类和属性注意力图集成到一个分类框架中，即属性注意网络（Attribute Attention Network, AANet），其包含三个任务：(1)全局ID分类任务(baseline)；（2）基于part的检测与分类任务；（3）关键属性检测任务。

2.Contributions

• 提出了AANet将属性特征与全局ID分类和part分类集成在一个框架中。
• SOTA

3. Method

如图2所示，AANet由三个子网组成。

• 第一网络：全局特征网络（Global Feature Network, GFN），就是利用全局特征进行ID分类，即相当于baseline。
• 第二个网络：Part特征网络（Part Feature Network, PFN），侧重于身体part检测，并用结果进行分类。
• 第三个网络：属性特征网络（Attribute Feature Network, AFN），它从行人属性中提取类别感知区域(有利于分类的attention区域)以生成属性注意图（Attribute Attention Map, AAM），如图1所示。

不难看出，网络的主体其实是全局特征+局部特征+属性的combine，而作者的创新则来自于对特定区域检测特定属性和AAM的生成，自适应学习多任务损失权重。

AANet用ResNet做backbone，并删除了原有的FC，共有四个分类器：全局ID分类器、Part分类器、属性分类器和AAM分类器。全局ID和Part分类器分别属于GFN和PFN。属性和AAM分类器属于AFN。四个分类器具有相似的网络设计，都利用全局平均池来减少过度拟合，并且有3层（Z，V和C）架构来增加网络深度以便更好地进行特征学习。分类器学习使用Softmax-Norm和交叉熵损失。

3.1 Global Feature Network

X输入GAP,然后用 1x1卷积进行Z，V，C的特征维度变化(每个卷积后都带有BN和ReLU)，最后用Softmax并计算交叉熵损失。

3.2 Part Feature Network

3.3 Attribute Feature Network

AFN捕获AANet架构中的关键属性信息。结构如下图所示，AFN包括两个子任务：

• 属性分类，对个人属性执行分类，类似于ZL团队的APR任务[Improving Person Re-identification by Attribute and Identity Learning， 2017]，但对比APR有所改进。AFN的第一层是将X从通道Z缩小到通道V的1x1卷积，然后将特征图划分为三个不同的粗糙水平条，即Top，Middle和Bottom特征图，不同的水平条注意不同的属性，例如头发肯定在Top而不在Middle和Bottom，这种策略可以减少背景杂乱并提高分类准确性，算是本文亮点，当然，还有一些属性是与整张图有关的，因此还有global分支，具体如图5所示，四个分支分别经过整合后分别得到图5层C中对应的2,4,8,9个神经元的通道，分别预测9,1,1,1个属性的分类。

APR传送门：APR

• 属性注意力图（AAM）生成，利用第一个子任务的输出，并为每个属性生成类别敏感性激活图（Class-sensitive Attention Map, CAM）。然后组合属性的CAM，得到AAM，进而送给AAM分类器进行分类。而CAM的输出表示属性的图像区域。AAM生成过程如下：
  
  最后的阈值处理是为了去掉背景。而AAM热图比ID热图效果好可从下图看出：
  

3.4 损失设计

4. 实验

4.1 训练细节和参数

4.2 和SOTA比

4.3 消融实验

4.4 各个属性的分类精度

4.5. 检索示例

• 直接按query检索的示例
  
• 直接按query检索导致失败的一些难的例子：
  
• 对上述结果，要求检索时域指定属性匹配的检索结果(属性不匹配的图像舍弃)