CBAM论文阅读笔记

原文地址：https://arxiv.org/pdf/1807.06521.pdf

介绍

         CBAM（Convolutional Block Attention Module）卷积块的注意力模块，简单有效，用于前向卷积神经网络。该模块分别从通道和空间维度顺序提供注意力图，用于中间的特征图。CBAM是轻量级且通用的模块，可以整合到任意CNN架构中。CBAM在分类和检测中有不错的表现。图1为CBAM模块架构，分为通道和空间注意力子模块，每个分支可以学习’什么‘和’哪里‘去关注。所以，这模块通过学习哪些信息加强或抑制，有效地帮助网络中的信息流动。

Caption

相关工作

         网络可以从深度，宽度，基数和注意力方面去提高。Residual Attention Network 是使用编码解码方式的注意力图。CBAM分为通道和空间两部分，产生了更少的计算量和参数。

卷积块注意力模块

       特征图F为输入，1D通道注意图Mc ，2D空间注意图Ms，注意力过程如下，图2描述了每个注意力图的计算过程。

Caption

Caption

详细过程：

通道注意力模块：通道注意力聚焦在输入图像’什么‘是有意义的。压缩了输入特征图的空间维度，采用平均池化层和最大池化层：

Caption

然后前向传给一个共享网络，产生了通道注意力图Mc。

Caption

共享网络由多层感知机（MLP）（包含一个隐藏层）组成，r是 reduction ratio，文中取值为16。通道注意力由下面描述：

Caption

空间注意力模块：与通道注意力不同，空间注意力集中于“何处”这一信息性部分，与通道注意力互补。首先沿通道轴应用平均池化和最大池化操作，并将它们连接起来生成有效的特征描述符，通过此操作合并通道信息，产生两个图：

Caption

最后空间注意力模块计算为：

Caption

代码

           官方提供的实现：https://github.com/Jongchan/attention-module