合成孔径雷达影像（SAR图像）变化检测深度学习研究方法

本文是对一些利用了深度学习方法进行SAR影像变化检测的论文的解读，下列是所解读的论文的名称、论文地址和代码地址：

1. Automatic Change Detection in Synthetic Aperture Radar Images Based on PCANet, IEEE GRSL 2016.

• http://fenggao-file.stor.sinaapp.com/2016_CD_GaborPCANet.pdf
• https://github.com/summitgao/SAR_Change_Detection_GarborPCANet

2. Sea Ice Change Detection in SAR Images Based on Convolutional-Wavelet Neural Networks, IEEE GRSL 2019.

• http://fenggao-file.stor.sinaapp.com/2019_CD_CWNN.pdf
• https://github.com/summitgao/SAR_Change_Detection_CWNN

3. Transferred Deep Learning for Sea Ice Change Detection From Synthetic-Aperture Radar Images, IEEE GRSL 2019.

• http://fenggao-file.stor.sinaapp.com/2019_CD_transfered_deep_learning.pdf
• https://github.com/summitgao/SAR-Change-Detection-MLFN

4. Change Detection From Synthetic Aperture Radar Images Based on Channel Weighting Based Deep Cascade Network, IEEE JSTARS 2019.

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8911214
• https://github.com/summitgao/SAR_CD_DCNet

5. SAR Image Change Detection Method via a Pyramid Pooling Convolutional Neural Network, IEEE IGARSS 2020.

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9324109
• https://github.com/LilWingXYZ/SAR-Image-Change-Detection/blob/main/PSPNet.ipynb（网络复现）

6. SAR Image Change Detection Based on Multiscale Capsule Network, IEEE GRSL 2020.

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9036876
• https://github.com/summitgao/SAR_CD_MS_CapsNet

7. Bipartite Differential Neural Network for Unsupervised Image Change Detection, IEEE T-NNLS 2020.

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8716679

8. Group Self-Paced Learning With a Time-Varying Regularizer for Unsupervised Change Detection, IEEE TGRS 2020.

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8915716

9. Unsupervised Scale-Driven Change Detection With Deep Spatial–Spectral Features for VHR Images, IEEE TGRS 2020.

• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8985538

一、基于 PCANet 的SAR图像自动变化检测（GaborPCANet）

        本文提出了一种基于PCANet的SAR图像变化检测方法。如图1所示：

1. 预分类：首先利用 log-ratio 算子生成差分图像，然后利用Gabor小波和模糊c均值（FCM）将差分图像中每一个像素分类为变化、不变和不确定三个类别。

2. 将预分类好的变化和不变的两类像素作为训练样本训练PCANet模型。

3. 利用训练好的PCANet模型将第一步中不确定的像素分类，分为变化和不变两类。

4. 将第一步和第三步分类出来的像素结合，形成最终的变化图。

解决的问题及使用的方法：

        1.SAR图像存在斑点噪声：

        (1) 使用log-ratio算子生成差分图像，能减少斑点噪声的影响。（考虑到SAR图像中斑点的乘法性质，log-ratio算子可以减少斑点噪声的影响。 因此，可以在某种程度上抑制斑点噪声）

        (2) 采用PCANet作为变化检测的分类模型，使用PCA滤波器作为卷积核，因为PCANet能够从多时SAR图像中学习非线性关系，所以对散斑噪声有较强的鲁棒性，并能生成噪声较少的变化图。

        2.预分类时能分出来确定是变化类和不变类的像素较少，不确定的像素较多，所以难以给PCANet提供足够的训练样本：

        (1) 设计了一种预分类方案，使用Gabor小波和FCM为PCANet获得一些高精度的带标记样本。

主要贡献：

        1.采用PCANet作为变化检测的分类模型，使用PCA滤波器作为卷积核。

        2.设计了一种预分类方案，使用Gabor小波和FCM为PCANet获得一些高精度的带标记样本。

相关技术细节：

Ⅰ.使用Gabor小波和FCM进行预分类

        1.通过将差分图像与一组Gabor内核进行卷积来获取差分图像的Gabor小波表示。

Ⅱ.使用PCANet进行分类

        1.如图2所示，在图像I1和图像I2上对应的变化和不变的像素点（坐标为(m,n)）周围提取一个大小为 k x k 的 patch，将两个图的patch串联起来，得到大小为2k x k的patch块，这样的一个patch块作为我们的一个样本，我们随机选择N个样本作为我们的训练样本。

        2.PCANet的结构如图3所示，它由三个步骤组成：前两个阶段是PCA滤波器卷积，最后一个阶段是散列和直方图生成。

二、基于小波卷积的海冰SAR图像变化检测（CWNN）

        本文提出了一种基于小波卷积神经网络的海冰SAR图像变化检测方法。如图1所示：

1. 预分类：首先利用log-ratio 算子生成差分图像，然后利用模糊c均值（FCM）将差分图像中每一个像素分类为变化、不变和不确定三个类别。

2. patch样本生成：生成每个像素周围的patch样本，并且还生成一些虚拟patch样本，将预分类好的变化和不变的两类patch作为训练样本。

3. 通过CWNN分类：利用第2步的训练样本训练CWNN模型，再用训练好的CWNN模型将原始patch全部分类，形成最终变化图。

解决的问题及使用的方法：（主要贡献）

        1. SAR图像存在斑点噪声：

        （1）提出基于小波卷积的变化检测方法：将双树复小波变换（DT-CWT）引入到卷积神经网络中，对变化的像素和不变的像素进行分类，从而有效降低了斑点噪声的影响。

        2. 训练样本有限：

        （1）采用虚拟样本生成方案来创建用于CWNN训练的样本，从而减轻了训练样本有限的问题。

相关技术细节：

Ⅰ. Patch样本的生成

        1. 在原始SAR图像I1和图像I2上对应的变化和不变的像素点周围提取一个大小为 w x w 的 patch，将两个图的patch串联起来，得到大小为2w x w的patch块，这样的一个patch块作为我们的一个样本，总共选择N个训练样本（N为所有变化和不变的patch的总和）。

        2. 由两个相同类别的样本以适当的比率产生一个虚拟样本，所以虚拟样本的类别和这两个样本保持一致，公式如下：Pk = αPi + (1-α)Pj + β，其中Pi和Pj是来自同一个类的两个训练样本，α是区间[0，1]上均匀分布的随机值，β表示随机高斯噪声，β的均值设为0，方差设为0.001。最后将真实样本和虚拟样本一起用作训练样本。

Ⅱ. 小波卷积神经网络分类

        1. CWNN框架图

        CWNN的结构如图2所示。两个卷积层表示为C2和C4，一个小波池化层表示为W3和W5。因此，网络可以表示为{I1、C2、W3、C4、W5、F6、O7}。i1是输入层，所有输入图像块都被重采样为28 × 14的大小。C2是一个具有6个卷积核的卷积层，其大小为5×3。该层生成六个大小为24 × 12的feature map。W3是一个小波池化层，在该层中，所有的输入特征图都用一级DT-CWT分解，该小波池化层产生6个大小为12×6的特征图。C4是具有12个卷积核的卷积层，其大小为5×3，该层生成12个8×4大小的feature map。w5是一个小波池化层，它产生12个大小为4×2的特征图。F6是具有96个单元的全连接层。o7是带有两个单元的输出层，这两个单位分别代表变化和未变化的类。最后，我们将CWNN分类结果和预分类结果结合在一起，形成最终的变化图。

        2. 小波池化层

        池化层之前的层可以通过双树复小波变换（DT-CWT）分解成八个组成部分。八个分量包括两个低频子带L1和L2以及六个方向的高频子带，正负15°，正负45°，和正负 75°(由LH1、LH2、HL1、HL2、HH1和HH2表示)。选择两个低频子带的平均值作为池化层的输出。

三、基于迁移学习的海冰SAR图像变化检测（MLFN）

        本文提出了一种迁移多级融合网络（MLFN），用于海冰SAR图像变化检测。如图1所示：

1. 首先使用一个大型数据集（LCCD）来训练MLFN：从LCCD数据集中随机抽取大量patch对，再将这些patch对送到MLFN中用作训练样本。

        （1）用级联Dense Block来优化卷积层： 使用三个Dense Block进行特征提取，分别提取低级，中级和高级特征。（引入了多层特征融合以利用低，中和高级特征表示之间的互补信息， 因此，MLFN可以实现更具区分性的特征提取）

2. 训练后，将训练好的权重迁移到海冰SAR图像变化检测任务当中。

        （1）预分类：首先利用log-ratio 算子生成差分图像，然后利用Gabor小波和模糊c均值（FCM）将差分图像中每一个像素分类为变化、不变和不确定三个类别。

        （2）微调：将预分类好的变化和不变的两类像素用于微调MLFN模型，优化MLFN的网络参数。（同样采用抽取patch的方式）

        （3）利用微调好的MLFN模型将(1)中不确定的像素分类，分为变化和不变两类。

        （4）将(1)和(3)中分类出来的像素结合，形成最终的变化图。

解决的问题及使用的方法：

        1.海冰数据集较少，在变化检测任务中具有局限性：

        （1）使用一个大型数据集（LCCD）来训练MLFN，然后将丰富的知识迁移到海冰分析中。（因为CNN较低层的特征对分类任务的针对性较小）

相关技术细节：

Ⅰ.多层融合网络

        DenseNets是残差网络的极端情况，其中每个卷积层都通过多个快捷连接进行连接，加强了特征传播并鼓励了特征重用，在一定程度上减少参数数量。图2是Dense Block的内部框架结构，MLFN使用了三个Dense Block进行特征提取，第一个Dense Block可以提取图像的次要细节，例如线条或点；第二个Dense Block可以提取中级特征，这些特征对应于低级特征的组合输出；最后，第三个Dense Block可以捕获输入图像的结构化信息和语义上下文。

        如图2所示，Dense Block具有四层。 第l层具有l个输入，由所有先前卷积层的特征图组成。 它自己的特征图将传递到所有后续层，这在Dense Block中引入了4×（4 +1）/ 2 = 10个连接。

        在图1中，已经介绍了MLFN所采用的特征融合策略是利用三个Dense Block， 这三个模块的输出分别表示为FL，FM和FH。 这三个块的输出合并结果为：F=pooling（h(FL) + h(FM) +h(FH)），其中F表示融合特征，池化是全局平均函数，h是尺寸匹配函数，在特征融合之前执行尺寸匹配。，使用大小为1×1的64个内核对FL，FM和FH进行卷积。 通过这种卷积，三个Dense Block的特征图的数量全部变为64。因此，可以通过逐元素求和来实现特征融合，融合后送到全局池化层，然后由一个全连接层进行处理。 最后，将融合特征转换为一个高维向量用作softmax图层的输入，以计算变化或不变的可能性。 可以将变化或不变的可能性分别表示为pc和pu。 如果pc> pu，则输入图像的patch对属于变化类别，否则属于未变化类别。

Ⅱ.微调

        有两种可能的方法可以在预训练的MLFN中执行微调。第一种方法是微调所有图层。第二个是保持一些低层固定，然后微调高层。在第一种方法中，从预训练的MLFN中移除softmax层。在另一种方法中，冻结低层以保持已经学习的特征，并针对输入的多时间SAR图像调整高层。在这篇文章中通过实验表明微调所有层的特征对于海冰图像变化检测结果有所提高。

四、基于通道加权的深度级联网络的SAR图像变化检测（DCNet）

        本文提出了一种用于SAR图像变化检测的深度级联网络（DCNet）。

1. 预分类：首先利用log-ratio 算子生成差分图像，然后利用分层聚类算法对差分图像进行分类，在分层聚类算法中，FCM算法用于将差分图像中每一个像素分类为变化、不变和不确定三个类别。

2. 将预分类好的变化和不变的两类像素作为训练样本训练DCNet模型。

        （1）引入残差学习优化卷积层

        （2）基于通道加权的残差块可以利用特征通道的关系

        （3）将不同层的输出融合以形成最终特征集

3. 利用训练好的DCNet模型将第一步中不确定的像素分类，分为变化和不变两类。

4. 将第一步和第三步分类出来的像素结合，形成最终的变化图。

解决的问题及使用的方法：（主要贡献）

        1. 随着网络深度的增加，卷积神经网络经常会遇到一些负面影响，例如过拟合和梯度爆炸。

        （1）引入残差学习来解决梯度爆炸问题。

        （2）引入特征融合机制来组合不同层的输出，以进一步缓解梯度爆炸问题。

        2. SAR图像变化检测中使用的现有深层网络往往会产生许多冗余特征（每个卷积运算都会生成一组特征图），这些不必要的特征会影响网络的性能。

        （1）设计了一个基于通道加权的模块，平均池和最大池用于汇总通道信息，强调有意义的通道，抑制不必要的通道。因此，可以降低特征图的相似度，减少冗余特征，进而提高DCNet的分类性能。

相关技术细节：

I. 预分类和样本选择

        1.如图2所示，从两幅原始SAR图像的潜在变化区域中提取以所选样本为中心的patch块（两幅图像所选取的位置为同一位置），每个patch的大小为r×r，将两个patch组合在一起以形成具有两个通道的新图像Rk，Rk的大小为r×r×2。

Ⅱ. 深度级联网络（DCNet）

        DCNet包含两个重要组件：基于通道加权的残差块和特征融合模块。

        1. 基于通道加权的残差块：由于残差图像的大多数值很可能为零或趋于较小，因此残差网络更易于训练。 一个典型的残差块如图3所示，它通过块内的快捷路径直接连接输入和输出。DCNet中设计了一个基于信道加权的残差块，如图4所示。DCNet通过具有不同参数的基于级联信道加权的残差块来实现更深的网络深度，级联的残差块可以完全提取SAR图像的特征信息。如图1所示，在DCNet中有三组基于信道加权的残差块。它们分别用于提取低，中和高级特征。 第一组残差块可以提取图像的次要细节，例如线或点；第二组残差块可以提取与低级特征的组合输出相对应的中级特征；第三组残差块可以捕获输入数据的结构化信息和语义上下文。 每个组由四个具有相同参数的基于信道加权的残差块组成。


        2.特征融合： 该文章引入了特征融合策略来研究三组基于通道权重的残差块中的互补信息。特征融合策略的工作方式与残差学习类似，具体来说，残差学习结合了相同尺度的特征，而特征融合策略则结合了不同尺度的特征。因此，特征融合策略可以看作是残差学习的扩展版本，从而可以进一步缓解爆炸梯度问题。

        不同级别的级联残差块可以捕获不同尺度的信息，包括粗糙或精细尺度，因此级联残差块的不同级别特征的融合对于变化检测非常重要。 将三个基于信道加权的残差块的特征分别表示为F1，F2和F3，F1包含16个特征图，F2包含32个特征图，F3包含64个特征图。 为了在特征融合时保持尺寸一致，使用64个 kernels 对F1，F2和F3进行卷积，每个 kernel 的大小为1×1，经过这种卷积，三组输出的总数全部变为64。之后，可以通过逐像素求和来实现融合过程，公式如下：F = g1(F1)+g2(F2)+g3(F3)， 其中F表示融合特征，g1，g2和g3是尺寸匹配操作。

六、基于多尺度胶囊网络的SAR图像变化检测（Ms-CapsNet）

        本文提出了一种用于SAR图像变化检测的多尺度胶囊网络（Ms-CapsNet）。如图1所示：

1. 首先利用 log-ratio 算子生成差分图像。

2. 然后从差分图像中随机选择训练样本用于Ms-CapsNet训练。

        （1）Ms-CapsNet 由自适应融合卷积模块（AFC）和胶囊模块组成

        （2）AFC模块用于将像素强度转换为高语义特征

        （3）胶囊模块用于激活高语义特征

3. 最后利用训练好的Ms-CapsNet对差分图像中的像素进行分类，得到最终的变化图。

解决的问题及使用的方法：（主要贡献）

        1. 不同位置特征的相关性不能有效建模：

        所提出的 Ms-CapsNet 具有从不同位置提取鲁棒特征的能力，它提供了一组实例化参数来从不同的位置捕获特征，因此可对不同位置特征的相关性建模，从而也解决了训练样本不够的问题。

        2. SAR影像中固有的散斑噪声：

        设计了一个自适应融合卷积模块（AFC），可以有效地将像素强度转化为局部特征的活动。AFC模块通过注意力策略提取较高的语义特征并强调有意义的特征，因此局部特征的活动变得更具噪声鲁棒性。

相关技术细节：

Ⅰ. AFC模块

        如图所示，利用AFC模块对输入进行编码。

        首先，一组卷积（Conv1-1、Conv1-2和Conv1-3，其核大小为3×3）采用了不同的空洞率（分别设置为1、2、3），以捕获多尺度特征，得到输入特征 Fin （w0w0c0）。

        然后将输入特征 Fin 输入到通道注意力模块（CA）中，利用全局平均池化（GAP）在空间域挤压 Fin 得到 Favg （11c0），然后利用一维卷积来找 Favg 中的通道关系，然后通过Sigmoid函数得到一个基于通道加权的向量 M，最后，将 Fin 和 M 结合起来得到基于通道加权的特征 Fout（Fout=M⊗Fin，其中⊗表示通道乘法）。来自Conv1-1、Conv1-2和Conv1-3的基于通道加权的特征分别表示为F1、F2和F3。

        最后对多尺度特征进行特征融合，通过逐像素求和法将特征融合为：F = D1(F1) + D2(F2) + D3(F3)，其中F表示融合特征，D1、D2和D3是利用1×1卷积实现的维数匹配函数。

Ⅱ. 胶囊模块

        胶囊模块是由初级胶囊层、Conv胶囊层和类胶囊层组成的神经网络，如图1所示。

1. Primary Capsule Layer

        该层通过核大小为k×k的类卷积操作从多维实体中提取低层次特征。与传统卷积不同，它将获得多个特征图而不是一个。初级胶囊层首先从AFC模块接收大小为 wwc 的特征图。 然后采用类卷积运算和压缩函数得到输出胶囊 vp。压缩函数表示为：
                                         
        其中s是总输入，v是胶囊的矢量输出。 在初级胶囊层中，输出胶囊vp的大小为w1映射，n×w1×n×d，其中n是特征×d=c的数目，d是8。 [w1×w1]网格是共享的权重。 换句话说，我们在总初级胶囊中获得[w1×w1×n]8D载体。 在我们的实现中，考虑了多尺度信息。 两个初级胶囊层分别采用核大小k=3和k=5。 因此，可以得到多尺度特征表示。 来自两个尺度的特征向量分别用vp1和vp2表示。

2. Conv-Capsule Layer

        该层采用局部连接和共享变换矩阵，在一定程度上减少了参数的。 卷积胶囊层采用动态路由策略更新耦合系数c。原囊层与conv-囊层之间的连接（变换矩阵）为W，变换矩阵W也每个网格中也共享。 因此，conv-胶囊层的输出vc可以表示为
                                  
        其中c是耦合系数，u=W·vp.vp是初级胶囊层的输出。 对于动态路由，我们首先将协议b设置为0。 耦合系数c可以用c=softmax(b)计算)。 也就是说，我们更新b来计算最新的耦合系数c.此外，b的更新过程可以表示为b←bu·vc。

3. Class Capsule Layer

        类胶囊层可视为完全连接层。动态路由机制仍用于耦合系数更新。 在这一层中，通过求和VO1∈VO2×VO2融合类胶囊层中的多尺度活动向量VO1⊕R2和VO2。 然后，计算向量范数来度量类的概率。 可以将ms-Caps Net的损失函数定义为

        当标签k出现时，tk=1(k=0表示不变的类，k=1表示更改的类)。 λ=0.5用于约束初始类胶囊的活动向量的长度。 如果图像中有一个更改类对象，则更改类的类包应该输出一个长度至少为m=0.9的向量。 相反，如果没有改变类的对象，则从类胶囊中输出长度小于m−=0.1的向量。 然后，通过像素分类可以计算出最终的变化图。