我对ABCNet(2021)的理解

ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images用于高分辨率遥感图像高效语义分割的注意双边上下文网络

本文的主要贡献如下：

1. 提出了一个具有空间路径和上下文路径的 "双边网络’'(ABCNet)；
2. 设计了两个具体的模块，即用于探索长距离上下文信息的注意力增强模块（AEM）和用于融合两个路径特征的特征聚合模块（FAM）；
3. 本文在ISPRIS Potsdam数据集上获得了91.095%的OA，即使在中端显卡（1660Ti）上，速度也达到72.13FPS。

上图（a）为ABCNet整体框架

一、空间路径

• 空间路径用于捕捉空间细节并生成低级特征图；
• 空间路径只关注低层次的细节，因此该分支只关注小步幅的浅结构；
• 空间路径包括三层：每一层都包含一个Stride=2的卷积，然后是批量标准化BN和RELU；
• 该路径的输出特征图是原始图像的1/8；
• 其编码了由大尺寸产生的丰富的空间细节。

二、上下文路径

与空间路径并行，上下文路径被设计为提取高级全局上下文信息并提供足够的感受野。

• 本文提出了具有线性注意机制的上下文路径；
• 利用轻量级主干（ResNet）来对特征图进行下采样并对高级语义信息进行编码；
  
• 然后在主干的尾部部署了两个注意力增强模块（AEM），以充分提取全局上下文信息；
• 最后两个阶段获得的特征被融合并输入到特征聚合模块（FAM）。

三、特征聚合模块FAM

为什么要有FAM？
因为空间路径和上下文路径的特征表示是互补的，但在不同的域中
即：

• 空间路径生成低级和详细特征
• 上下文路径获得高级和语义特征

本文设计了一个特征聚合模块（FAM）来合并两种类型的特征表示，同时考虑准确性和效率。如下图所示：

• 对于两个特征域，首先连接空间路径和上下文路径的输出；
• 然后附加具有批量标准化BN和RELU的卷积层，以平衡特征的尺度；
• 最后使用线性注意力机制来捕获生成特征的long-range dependencies（图像中相距较远的两个像素之间的相关性）

Reference

原文: ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images