FWENet：基于SAR图像的洪水水体提取深度卷积神经网络（CVPR）

FWENet: a deep convolutional neural network for flood water body extraction based on SAR images

作者：Jingming Wang, Shixin Wang, Futao Wang, Yi Zhou, Zhenqing Wang, Jianwan
Ji, Yibing Xiong & Qing Zhao

期刊：Internation Journal of Digital Earth

日期：2022

关键词：深度学习；洪水水体提取；SAR；鄱阳湖

原文：https://doi.org/10.1080/17538947.2021.1995513

 摘 要

        洪水作为世界上最严重的自然灾害之一，每年都会造成巨大的经济损失和人员伤亡。及时、准确地获取洪水淹没范围，可为相关部门在洪水应急响应和救灾领域提供技术支持。鉴于现有基于合成孔径雷达（SAR）图像和深度学习方法提取洪水淹没范围的研究工作的准确性相对较低，本研究利用Sentinel-1 SAR图像作为数据源，提出了一种名为洪水体提取的新模型用于洪水信息提取的卷积神经网络（FWENet）。然后将三种经典的语义分割模型（UNet、Deeplab v3和UNet++）和两种传统的水体提取方法（Otsu全局阈值法和面向对象方法）与FWENet模型进行了比较。进而分析了鄱阳湖水体面积变化情况。本文的主要结果如下： 与其他五种水体提取方法相比，FWENet 模型取得了最高的水体提取精度，其 F1 得分和平均交叉并集 (mIoU) 分别为 0.9871 和 0.9808。本研究可为后续基于SAR图像的洪水提取研究提供保障。

1.介绍

        目前，基于SAR图像的洪水提取方法主要有基于阈值的方法、面向对象的方法、活动轮廓法和数据融合方法。然而，由于SAR图像存在斑点噪声、灰度分布不均匀等缺陷，当涉及到大面积时，传统的SAR数据泛滥监测方法已不能很好地满足要求。在此背景下，SAR数据与智能水体提取算法的结合逐渐成为研究热点。

1.1国内外研究

• Chen等 (2015) 利用卷积神经网络提取水体，通过与归一化差值水指数 (NDWI) 等传统方法的比较，证明了深度学习方法在水体提取中的有效性。
• Chen等 (2018) 设计了一种新的卷积神经网络从高分辨率遥感图像中提取城市地表水体，获得了较高的水体提取精度。
• Wang等 (2020) 提出了多尺度湖泊水体提取网络，该网络在提取小湖水体中表现良好。
• Nemni等 (2020) 设计了一种用于洪水测绘的卷积神经网络，实现了全自动快速洪水监测。
• Peng等 (2021) 提出了城市洪水测绘的自我监督学习框架，提高了城市洪水监测的准确性。

1.2存在的问题

• 这些现有的水体提取深度学习模型主要集中在光学遥感图像上。此外，使用SAR图像的水体提取精度相对较低。
• 水体与阴影难以区分、水体较小、河流提取不完整等缺点也限制了水体提取产品的应用。

1.3提出的模型 

        本研究提出了一种基于SAR图像的新型洪水水体提取卷积神经网络 (FWENet)。

       具体来说，该模型由编码解码网络组成。在编码器中，首先利用了残差网络 (ResNet)。然后，将编码的特征图输入到不同膨胀率下的膨胀卷积中，并使用不同的标度来提取深层语义特征。在解码器中，将小尺寸特征图解码为原始尺寸。此外，FWENet模型采用了空间和通道挤压 & 激励 (Scse) 注意机制，进一步提高了模型预测的准确性。最后，基于FWENet模型从多周期SAR数据中提取洪水信息。

2.材料和方法

2.1研究区

        鄱阳湖

​

 图1 鄱阳湖在中国的位置。左图是谷歌地球图像。

右边的图像是2020年9月6日上的Landsat 8图像。

2.2数据预处理

        研究选取6张双极化Sentinel-1 SAR影像，产品类型为GRD，成像时间为2020年6月20日至2020年8月31日。

表1 本研究中使用的Sentinel-1 SAR图像的详细信息

        本研究采用欧洲航天局（ESA）提供的Sentinel数据处理软件SNAP对Sentinel-1 SAR图像进行预处理，得到研究区10 m空间的后向散射分布图分辨率双极化。具体的预处理步骤包括轨道校正、热噪声去除、辐射定标、滤波、地形校正、裁剪和镶嵌处理。

2.3方法

        SAR图像预处理完成后，首先将Sentinel-1双极化图像与推导的平均纹理图像合成为三波段新图像。其次，将得到的新图像分为训练数据集、验证数据集和测试数据集，将数据增强后的训练数据集和验证数据集输入到FWENet模型中进行训练。最后在测试数据集中采用多种评价指标对FWENet模型的水体提取精度进行定量评价。本研究的具体流程图如图2所示。

​

图2 本研究的流程图

 2.4模型结构

       本研究提出了FWENet模型用于SAR图像的洪水信息提取，其模型结构如图3所示。受U-Net模型的启发，FWENet模型采用了编码和解码结构，其中编码部分使用Resnet18 网络，然后将从编码器得到的特征图输入到膨胀卷积中，膨胀率分别为 1、2、4 和 8，具有四种尺度，以提取深度语义特征。解码部分将小尺寸特征图恢复到原始尺寸，从而得到水体分割图。在编解码过程中，将各层的输出输入到Scse注意力机制中，进一步提高了模型预测的准确率。每个卷积层都连接到批归一化 (BN) 层（Badrinarayanan、Kendall 和 Cipolla 2017），加快了模型学习的速度。

2.4.1残差网络

      深层网络可以获得丰富的语义特征。然而，简单地增加网络深度会导致梯度损失或梯度爆炸问题。同时，随着网络深度的增加，网络性能会下降。为了解决这个问题，He 等人。 (2017) 提出了残差神经网络 (Resnet)。 Resnet的核心是残差学习模块。图 4 显示了两个典型的残差学习模块。通过将特征图输入残差学习模块，通道在卷积后与原始特征图相加以补偿消失的梯度，如图4（a）所示。特征图输入残差学习模块，卷积后特征图的大小和通道数发生变化，因此需要1×1卷积调整原始特征图的大小和通道数，如图图 4(b)。如今，Resnet网络已经成为语义分割领域的主要特征提取网络。主要有五个Resnet网络：Resnet18、Resnet34、Resnet50、Resnet101和Resnet152。为了降低网络模型的复杂度，加快模型处理速度，本研究采用Resnet18网络提取主要特征。

​

 图4 两个典型的残差学习模块的结构

 2.4.2膨胀卷积

        为了解决卷积神经网络中由下采样操作引起的特征图分辨率降低和信息丢失的问题，Yu和Koltun (2016) 提出了膨胀卷积。膨胀的卷积通过在卷积核之间填充一定数量的0个元素来膨胀卷积核的感受域。填充的数量取决于膨胀速率的参数。具有不同膨胀速率的膨胀卷积如图5所示，其中膨胀速率为1的卷积核可以视为标准的卷积核。不同膨胀速率的膨胀卷积具有不同的感受野，不同的感受野对于区分具有相似光谱特征的山影和水体至关重要。在Deeplab v3网络的atrous空间金字塔池 (ASPP) 模块中，膨胀卷积的膨胀速率分别设置为1、6、12和18。膨胀率太大，小水体损失了太多的特征信息。在本研究中，结合膨胀率为 1、2、4 和 8 的膨胀卷积来提取不同尺度的语义特征。适当降低膨胀率可以捕获更多小水体和河流的特征信息，水体边缘的提取更完整。

​​

图 5  具有不同扩张率的扩张卷积核   (a) 膨胀率 = 1；(b) 膨胀率 = 2；(c) 膨胀率 = 4

 2.4.3Scse

        注意力机制旨在使计算机忽略无关的信息，并像人脑一样专注于关键信息。由于注意力可以提取更多的语义特征，因此它被广泛用于语义分割任务中。这里不仅有广阔的湖泊，还有遥感图像中的小水体和池塘。洪水灾害时水体的不同大小和复杂的淹没场景广泛地检验了卷积神经网络的鲁棒性和泛化性。因此，本研究引入Scse注意机制，以进一步提高网络模型预测的准确性。Scse模块的结构如图6所示。图6的上部是信道注意 (CSE) 模块，该模块首先对输入特征图执行全局平均池化操作，然后分别使用relu和Sigmoid函数激活两个1 × 1卷积后获得的特征图，最后利用信道乘法进行信息校正。图6的底部是空间注意 (SSE) 模块，该模块首先对输入特征图进行3 × 3卷积运算，然后使用Sigmoid函数进行激活，最后使用空间乘法n进行空间信息校正。Scse模块将SSE模块与CSE模块组合在一起。将尺寸为C × H × W的特征图输入到Scse模块，输出特征图的尺寸保持为C × H × W。在不改变特征图的维数的情况下，在每个卷积层之后添加Scse模块。目的是微调特征图的水体边缘。

图6 Scse模块的结构