SegNeXt学习笔记（卷积注意力语义分割框架）

SegNeXt学习笔记（卷积注意力语义分割框架）

概念：不同于图像分类任务，语义分割属于密集预测任务，需要为每个像素指定一个语义类别，即需要在单个图像中对不同的对象进行处理。
综合2015-2021年的文章，好的语义分割模型应该具有以下特性：
（1）强大的backbone作为主干网络；
（2）实现多尺度交互学习以提取不同感受野的语义信息；
（3）进一步利用空间和通道注意力以优先获取对分割贡献大的信息；
（4）更少的计算成本和更少的参数量。
该篇文章使用了不同场景下的图像进行分割验证实验，主要有：ImageNet，ADE20k，Cityscapes，Pascal VOC，COCO-stuff，ISAID.

分割构架主要分为两部分：
（1）编码器：采用经典的或者自制的模型用来提取深度语义信息。
（2）解码器：主要配合编码进一步提升模型的性能，一般有提取多尺度感受野，收集多尺度语义信息，扩大感受野，加强边缘特征，捕获全局上下文等一系列作用。

该篇文章主要方法：

由图可以看出，MSCA(multi-scale convolutional attention)包含了三个部分：
（1）使用深度卷积融合局部信息；
（2）多分支深度带状卷积捕获多尺度信息；
（3）1 × 1 卷积来模拟不同信道之间的关系。

数学表达式为：

解码器采用下图中的第三种，值得注意的是，解码器至选用了它之前的三个stage的信息进行整合，因为第一层的stage中深度不够，特征不明显且浪费计算资源。

参考文献：Guo, M. H., Lu, C. Z.,Hou.Q, Liu, Z. N., Cheng, M. M., and Hu, S. M. SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation，NeurIPS