用于高分辨率遥感图像语义分割的边缘引导网络

Edge Guidance Network for Semantic Segmentation of High-Resolution Remote Sensing Images

用于高分辨率遥感图像语义分割的边缘引导网络

背景

随着空间分辨率的提高，遥感图像所传达的信息变得越来越错综复杂。同一对象内部像素的语义内容表现出相当大的特异性，而不同对象之间像素的语义内容表现出明显的重叠性。然而，大多数现有的方法仅仅通过聚合全局或多尺度的上下文信息来建立对象的内部一致性，而没有充分考虑目标的方向和空间细节特征。此外，这些方法往往忽略了边缘信息在实现精确边缘定位方面的潜力。

1. 提出了一种边缘信息引导网络，利用边缘信息引导聚合丰富的上下文信息进行语义分割，以提高高分辨率遥感图像的分割精度
2. 提出了一种方向卷积模块来构建空间细节分支，用于获取精确的边缘信息和空间细节信息
3. 为了有效指导空间细节特征和语义特征的聚合，我们提出了空间-语义特征聚合模块。
4. 提出了方向空洞卷积模块，该模块有利于提取物体的多相长程依赖关系

贡献、总结

1. 一种双分支编码器网络架构EIGNet，以增强对多方向空间细节的提取和利用。该架构结合方向卷积模块( OCM )建立浅层空间信息分支，捕获物体在水平和垂直方向上的空间属性。
2. 提出了SSFAM模块，以提高边缘特征、空间细节特征和语义特征的聚集性，减少特征之间的差异，产生更具弹性的融合特征。
3. 提出了一个名为OACM的模块，以更有效地建立多相长程上下文依赖，并解决大规模对象的不完全分割问题。

实验

数据集：ISPRS Vaihingen（五个类别(不透水面、建筑物、低矮植被、树木和汽车)和一个背景类别(杂波)），ISPRS Potsdam（剔除ID为4 _ 12和7 _ 10的图像,这些图像存在明显的标注错误）类别同上
数据增强：随机缩放( [ 0.5 , 0.75 , 1.0 , 1.25 , 1.5 ])、水平和垂直翻转、随机角度旋转

方法

橙色：空间信息分支（边界预测），蓝色：语义信息分支，黄色：信息聚合

语义特征分支

使用ResNet18作为编码器，提取多尺度特征。ResNet50更优 但计算量大大增加

空间特征分支

大多数的多尺度模块都涉及到下采样，会导致信息丢失，影响精度。
为了捕获多方向的空间细节并生成空间信息特征图，我们的方法中的编码器使用了带有空间信息路径的双分支框架。此外，我们还设计了OCM，如图3 ( b )所示。该模块引入垂直和水平卷积核（31，13卷积），获取垂直和水平两个方向的方向特征，以捕获多相物体的空间细节特征。

随着分辨率的不断提高，信息的复杂性和异构性也随之增加，导致类与类之间的语义特征混叠，导致边缘分割错误。此外，类内的语义特征存在差异，会产生"虚假"边缘，影响分割的完整性。为了解决这个问题，我们在空间信息路径中加入了EAM，从空间细节特征中提取边缘信息，这有助于消除类内异质性的影响

输入是三个不同尺度的特征，经过1*1CBR之后大小一样了，拼接，卷积上采样sigmoid，提取边缘信息。浅层特征中边缘信息不明显，使用深层特征融合提取边缘信息

空间-语义特征融合 解码器

空间特征编码器和语义特征编码器得到的特征，直接融合多个特征而不考虑它们之间的固有差异可能会严重影响模型的性能。为此，我们引入了SSFAM，如图5所示，它融合了语义特征图Fi、空间细节特征图Si和边缘细节信息图Fe。该模块旨在最小化不同特征类别之间的差异，并对三种特征所包含的信息进行增强和强化，从而赋予融合特征更鲁棒和有效的表示能力。
![在这里插入图片描述](https://img-blog.csdnimg.cn/2bceff1094b14523abeac4e61e216e97.png

输入是语义特征、空间特征、边缘特征，把语义特征11conv调整大小，sigmoid获取权重信息，乘上空间特征和边缘特征，再残差相加（像注意力机制的操作），把空间特征、边缘特征相加融合后，33卷积提取特征，经过SAM CBAM: Convolutional block attention module模块获得空间注意力权重，再乘上各个特征，再相加融合，3*3卷积融合，调整大小，得到融合特征。【三种特征经过复杂的融合方式，其实是通道注意力融合，通道注意力之前把语义特征经过sigmoid当作权重，对空间特征和边界特征进行加权融合】

得到融合特征SF之后，并没有直接作为输出计算loss，而是过了个OACM来逐层聚合不同尺度的集成特征。SEM是通道注意力，过引入核尺寸为3 × 1和1 × 3的卷积核提取交叉方向上的多尺度特征，可以更好地建模不规则目标的多尺度特征信息，最底层OACM的输入是SSFAM的输出，其余的输入是，上采样后与SSFAM逐元素相加。【通道注意力‘通道增强’之后再加上交叉方向上的多尺度卷积‘多方向长距离依赖’】

损失函数

语义损失

分割损失=交叉熵+dice

边缘预测损失

二元交叉熵，BCE

Thinking

双编码器，提取语义特征和边缘特征，语义特征编码器用的ResNet18，边缘特编码器用的多方向卷积，融合深层的3个特征作为边界图输出（空间特征）计算loss。将语义特征、边界特征、空间特征进行融合（空间注意力机制），融合之后再用通道注意力机制加上多向卷积。通过考虑方向、空间、边缘提高了分割精度。
有点像这个：

ACNet: ACNet知乎引用