MACU-Net-用于精细分辨率遥感图像语义分割网络

摘要：

在本文中我们结合了由不同层次的U-Net生成的多尺度特征，设计了一个多尺度跳跃连接和基于非对称卷积的网络--MACU-Net。

网络具有以下几个优点1）多尺度跳跃连接将低层和高层特征图中包含的语义特征结合并重新进行排列2）非对称卷积块增强了标准卷积层的特征表示和特征提取能力。

尽管UNet取得了较为不错的性能，但是信息流的利用不足阻碍了原始UNet的发展。

为了在降低计算成本的同时解决特征利用不足的问题，我们提出了带通道注意力块的多尺度跳过连接，将多尺度特征结合起来，自适应地调整通道特征。

本文利用一个非对称卷积块，通过增强中心交叉部分的权值来增强卷积层的表示能力非对称卷积块（ACB）包含正方形，水平和垂直核的分支，通过将三个分支的卷积输出加在一起，可以有效的捕获精细的特征，并且不增加计算复杂度

方法

本文提出的MACU-Net的结构图如下所示：

A：非对称卷积块-ACB

平方卷积核捕获比例不均匀的特征。更具体地说，中心交叉位置(即内核的骨架)上的权重具有更大的量级，而角落上的点对特征提取的贡献较少。因此，交叉样感受野可以减轻在捕获代表性特征时冗余信息的影响，如图2 (a)所示。

 

所提出的非对称卷积块（ACB）来捕获来自不同感受野的特征，其结构如下图所示

 

ACB模块具有3个分支，即3×3卷积、1×3卷积(水平核)和3×1卷积(垂直核))，以获得交叉感受野。3×3卷积通过一个相对较大的感受野捕获特征，而水平和垂直核保证了特征在骨架上的显著性，并扩展了网络的宽度。添加三个分支生成的特征图，实现融合结果。然后采用批范数(BN)和ReLU来提高数值稳定性，以非线性方式激活输出。用公式表示为

这个ACB模块用于捕获和细化编码器每一层的特征，并在解码器的每一层转置卷积后附加，生成平滑的图像

B：多尺度跳跃连接

 本文设计了多尺度跳过连接来捕获编码器和解码器之间的相互作用。

以第三个解码器为例子，下图展示了如何生成特征映射

 

首先直接连接同级编码器的特征映射，其次包含在较低层次的编码中的细节详细信息通过转置卷积和ACB模块穿度，包含在较高层次的编码器信息 由MaxPooling层和ACB模块传输。用公式表示为

 

C：通道注意模块

 有了五个相同大小和分辨率的特征图，我们需要进一步减少大量的通道，并重新调整通道相关的特征。在卷积块注意模块(CBAM)[23]的激励下，我们设计了通道注意块(CAB)来对通道方面的特征进行权重调整，如图3右侧所示。CAB的目标是学习一个1D的权值。它对输入特征图的通道进行重新排列

以第三个解码器为例子我们使用128个1x1的卷积核来减少最初的通道数。然后，同时进行平均池化和最大池化操作，压缩空间维数。通过两个具有8个卷积核和ReLU激活函数的卷积层，将压缩后的特征图通道压缩到原始尺寸的1 / 16。然后使用两个具有128个滤波器的卷积层恢复通道的数量。最后，两层的和由sigmoid函数激活，并乘以第一个卷积的输出。

结论

在本文中，我们设计了一个多尺度跳跃式连接架构MACU-Net，用于精细分辨率遥感语义分割。基于多尺度跳过连接和通道注意块，对UNet多层生成的语义特征进行组合和细化。同时，采用非对称卷积块增强了标准卷积层的表示能力。