PSPNet----多尺度平均池化 (MSAP) 卷积网络阅读笔记

SAR IMAGE CHANGE DETECTION METHOD VIA A PYRAMID POOLING CONVOLUTIONAL NEURAL NETWORK，IGARSS2020
基于金字塔池卷积神经网络的SAR图像变化检测方法

摘要

：在合成孔径雷达 (SAR) 图像变化检测中，利用受散斑影响的噪声差分图像的变化信息是非常具有挑战性的。在本文中，我们提出了一种新颖的多尺度平均池（MSAP）网络来利用噪声差异图像中的变化信息。与传统的只有一个尺度池化核的卷积网络不同，在所提出的方法中，在卷积网络中配备了多尺度池化核，以从差异图像中获取变化区域的空间上下文信息。最后，我们在四个具有挑战性的双时相 SAR 图像数据集上验证了我们提出的方法。实验结果表明，我们提出的方法获得的差异图优于其他最先进的方法。
最近，完全卷积神经网络 [6] 已成功用于图像语义分割，其中池化层可以利用图像空间结构的鲁棒特征。受这种精神的启发，它们已被广泛用于利用噪声差异图像中的变化区域。龚等人[7]首次提出深度神经网络对SAR图像变化检测。高等人[8]提出了一种基于主成分分析的简单卷积网络，称为 PCA-Net，用于 SAR 图像变化检测。王等人[9]提出了一种有监督的 PCA-Net 方法，其中在参考形态结构的指导下选择训练样本。然而，在大多数传统的卷积网络中，所有池化内核都具有相同的大小，并且通常随后使用池化算子来利用更大范围的空间上下文。最近，赵等人[10]提出了一个金字塔场景解析网络，它通过金字塔池化层聚合各种大小的上下文来利用全局空间上下文信息。金等人[11]开发了一个用于对象分割的具有金字塔池化层的 U-Net。
受此想法的启发，在本文中，我们提出了一种用于 SAR 图像变化检测的多尺度平均池化 (MSAP) 卷积网络，以利用噪声差异图像中的变化区域。在这个网络中，引入了 MSAP 层来获得具有不同尺度空间上下文信息的变化区域的鲁棒特征。 MSAP 层可以方便地利用浅层网络来利用变化区域的结构，这可以很容易地进行训练。为了验证我们提出的方法的效果，将几种方法与我们提出的方法进行了比较，并在四个数据集上进行了比较。实验结果表明，该方法在跨数据集 SAR 图像变化检测方面优于其他方法。
**

2.1 网络结构

**

在本节中，我们将详细介绍我们提出的方法来利用双时相 SAR 图像中变化区域的结构。 MSAP 网络的整体框架如图 1 所示。给定一组双时间SAR图像，DI首先由基于邻域的LR比[12]生成。然后将双时相 SAR 图像和生成的 DI 作为 MSAP 网络的输入。目标是从嘈杂的输入图像中详细说明更改后的地图。

为了执行有效的推理，我们从输入图像组中提取补丁并将补丁输入 MSAP 网络。如图 1 所示，对于每组输入补丁，其后依次是一个批范数（BN）层和三个卷积层（Conv-3），如图中的蓝色条所示。 ‘Conv-3’中的数字表示卷积核的大小为3×3。然后一个最大池层（MP-2）跟随卷积层以利用 2×2 内核的空间上下文，如红色条所示。
在 MP-2 之后，开发了一个 MSAP 层，以进一步利用各种尺度的感受野的空间上下文。为了实现这一点，MSAP 层被设计为一组并行卷积层，其内核大小为 2×2、4×4 和 8×8，分别表示为 AP-2、AP-4 和 AP-8 和分别用各种大小和颜色的块来表示。 MSAP 获得的空间上下文信息被集成到具有多个通道的张量中，然后是一个反卷积层，将特征图恢复为与输入补丁相同的大小。在这个过程中，由 MSAP 获得的空间上下文将传播到像素级 [13].
如上所示，所提出的网络是一个精简和浅层的网络，最重要的是，我们通过 MSAP 层而不是固定大小的池化层来利用各种尺度的空间上下文，这减少了网络的深度。

2.2网络训练

为了有效地训练网络，我们精心从训练数据集中收集样本，特别是在边界附近（称为边界样本），这已经证明可以用更少的训练样本有效地训练网络进行 SAR 图像变化检测 [9]。在本文中，我们完全随机抽取 20% 的样本进行训练，包括变化和不变的类别，其中有边界样本占据 50%。此外，每个样本的patchsize设置为32×32，每个训练步骤输入8个样本。此外，在训练阶段采用 Adam 算法 [14] 来优化网络的权重，其中初始学习率设置为 0.005。训练是在 Ubuntu 16.04 上构建的 Pytorch 平台上进行的，该平台安装在具有 16 GB DDR 内存和 11 GB 内存的 NVIDIA TITAN Xp 图形处理单元的 PC 上。

3实验结果

在本文中，所提出的方法在四组双时相 SAR 图像上进行了验证。两个场景（YR-A 和 YR-B）分别来自 Radarsat-2 卫星在 2008 年和 2009 年获取的双时相黄河 SAR 图像 [7]。它们的图像尺寸分别为 306 × 291 和 400 × 350。另外两个是在日本仙台地震之前（2010 年 10 月 20 日）和之后（2011 年 5 月 6 日）获得的 TerraSAR-X 图像的一部分 [15]。它们的尺寸（仙台 A 和仙台 B）分别为 590 × 687 和 689 × 734。这四个数据集如图 2 所示。这四个数据集非常具有挑战性，例如 YR-B 数据集中的线性形状变化区域以及仙台 A 和仙台 B 数据集中的复杂场景。
为了验证所提出方法的好处，将其与无监督 PCA-Net (U-PCA-Net)[8]、监督 PCA-Net (S-PCA-Net)[9] 进行比较- SAR图像变化检测的艺术表现。我们还将所提出的方法与深度神经网络 (DNN) 方法 [7] 和 CNN [16] 进行了比较。在这些方法中，DNN 和 U-PCA-Net 是无监督方法，而 S-PCA-Net、CNN 和 PSP-Net 是有监督方法。比较方法的性能通过概率错过警报 (pMA)、概率错误警报 (pFA) 和 kappa 系数，其中 pFA (pMA) 由 FA (MA) 与未更改像素数 (NC) 之间的比率计算评估。
视觉结果如图 3 所示。结果表明，其他比较方法获得了嘈杂的变化图，尤其是在仙台-A和仙台-B数据集上，而我们提出的方法可以在四个数据集上获得清晰且更完整的变化区域。此外，我们还在图 4 中展示了定量评估结果。表明我们提出的方法在仙台 A、仙台 B 和 YR-A 数据集上获得较低的 pFA 和 pMA。其他比较方法受散斑影响，得到更高的 pMA 和 pFA。此外，我们提出的方法在仙台 A、仙台 B 和 YR-A 数据集上获得了更高的 Kappas。

4 结论

在本文中，开发了一种新的空间度量学习方法，用于双时相 SAR 图像变化检测，在构建约束对时考虑空间上下文，以减少散斑的影响并补偿不可避免的配准误差。然后将约束对输入度量学习模型，以训练基于最大边距标准的 PSD 度量矩阵。为了验证所提出方法的有效性，我们在四个具有挑战性的数据集上将所提出的方法与其他最新技术进行了比较。比较结果表明，所提出的方法优于其他比较方法。