CBAM: Convolutional Block Attention Module论文阅读笔记

Abstract

提出了卷积块注意力模块（CBAM），这是一个简单而有效的前馈卷积神经网络注意力模块。给定一个中间特征图，我们的模块沿着两个独立的维度（通道和空间）顺序推断注意力图，然后将注意力图乘以输入特征图以进行自适应特征细化。由于CBAM是一个轻量级通用模块，它可以无缝集成到任何CNN架构中，开销可以忽略不计，并且可以与基础CNN一起进行端到端训练。实验表明，各种模型在分类和检测性能方面都有一致的改进，证明了CBAM的广泛适用性。

本文贡献

1. 提出了一种简单而有效的注意力模块（CBAM），可以广泛应用于提高神经网络的代表能力。

1. 通过广泛的消融研究验证了注意力模块的有效性。

1. 验证了通过插入我们的轻量级模块，各种网络的性能在多个基准测试（ImageNet-1K、MS COCO和VOC 2007）上得到了极大的改善。

与之前工作对比(网络工程方面)

之前网络工程方面的工作主要关注三个主要因素：深度、宽度、基数，本文主要关注注意力。

• 深度会受限于梯度反向传播

• 宽度会使得模型参数量激增

• 基数[cardinality] —— the size of the set of transformations

  与之前阅读论文Squeeze-and-Excitation对比：

  SE的缺点在于挤压操作只使用了全局平均池化来获取通道注意力（而CBAM建议还使用最大池化特征）；并且错过了空间注意力。【发现SE模块就是channel attention只使用了平均池化】

  CBAM使用基于空间和通道的特征。

  解释：对最显著部分的程度进行编码的最大池化特征可以补偿对全局统计数据进行软编码的平均池化特征。因此，建议同时使用这两种注意力机制。可以在没有额外可学习参数的情况下，进一步提高SE的表现。

  CBAM模块

• 

 

 

 

总结

两个注意力模块（通道和空间）计算互补注意力，分别关注“是什么”和“在哪里”。考虑到这一点，可以以并行或顺序的方式放置两个模块。我们发现，顺序排列比并行排列给出更好的结果。对于顺序过程的安排，我们的实验结果表明，通道（注意力模块）在前比空间（注意力模块）在前略好。