论文笔记--DCAL

Paper: Dual Cross-Attention Learning for Fine-Grained Visual Categorization and

Object Re-Identification

文章链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Zhu_Dual_Cross-Attention_Learning_for_Fine-Grained_Visual_Categorization_and_Object_Re-Identification_CVPR_2022_paper.pdf

在介绍DCAL算法算法前，先简单介绍一下Cross-Attention。Cross-Attention实际上就是混合了两个不同的输入序列的注意力机制。这两个序列可以是不同的模态（如文本，声音和图像）。相较于Self-Attention的输入是一个单一的嵌入序列，Cross-Attention将两个相同维度的输入序列，其中一个序列计算query，另一个序列计算key和value，通过这样的方式结合两个输入的序列，组合成QKV后进行下一步运算。

DCAL，即Dual Cross-Attention Learning算法，用于提高自注意力模块对细微的特征的学习能力。首先，作者提出了一个全局-局部的cross-attention模块，用于增强图片的全局和局部的高维特征区域之间的交互。之后，又提出了成对的cross-attention模块，以建立一对图片之间的交互。该模块能够以一幅图片作为干扰，让网络学到的原图片的attention向另一图片偏移（结合两图的key-value），从而增加网络的学习难度，迫使网络去发现更有辨识度的部分，并减少网络过拟合的可能。结合上述两个模块，DCAL能够减少误导性的注意力，并减弱注意力的响应，从而发现更多具有辨识度的区域。

在Self-Attention模块中，除了class token外，输入的每个token是等价的。作者认为，为了更好地识别细粒度对象，需要去挖掘重要部件和全局信息的关系。由此，提出了GLCA模块（Global-Local Cross-Attention）。而基于细粒度数据集每类别样本数较小的问题，可能导致网络过于关注单个样本的一些错误信息，导致网络过拟合。由此，提出了PWCA模块（Pair-Wise Cross-Attention）。

GLCA模块包括计算attention scores确定local parts和结合全局和局部信息计算cross-attention两部分。对于网络第i个self-attention块，通过累计前i个S（即softmax(QK^T/sqrt(d))的值）矩阵的方式计算attention scores。累计的方式为矩阵乘。此外，每个S的值以0.5S + 0.5E的方式进行修正，E为单位矩阵。这种修正可以视为一种残差连接。之后，取累计结果的第一行，视为class token的累积权重，并根据其最大的R个值，在global query中选择对应的R个向量，作为local Q。计算cross-attention时，由local Q和global K&V结合计算。

PWCA模块中，在训练集中随机采样两个图片I1和I2。在分别计算两个图片的query,key和value后，结合两者的key和value（拼接），使用目标图片的query计算attention模块的输出，得到有噪声的attention scores。使用这样带噪声的attention输出进行训练，减少网络过拟合的可能。

在最终的网络结构中，GLCA的层数为1，PWCA的层数为12。最终的实验结果中，在CUB-200-2011数据集上，基于R50-ViT-Base框架，得到了92.0%的top1准确率，相较于不使用DCAL的对比组提高了0.7%的性能，证明了方法在细粒度识别上的有效性。