遥感影像变化检测SemiCDNet，基于GAN的半监督方法；提出一个新的变化检测数据集

SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images

南京信息工程大学 2020

提出的VHR遥感影像变化检测数据集： password:8quw

项目github: (提供数据链接，无代码)

---

目录

SemiCDNet: A Semisupervised Convolutional Neural Network for Change Detection in High Resolution Remote-Sensing Images

摘要：

Introduction:

BACKGROUND AND RELATED WORK

PROPOSED SemiCDNet

A. SemiCDNet Architecture

B. Segmentation Network

C. Discriminator Network

D. Loss Functions

IV. EXPERIMENTAL RESULTS AND DISCUSSION

E. Discussion

V. CONCLUSION

---

摘要：

变化检测(CD)是遥感的主要应用之一。随着深度学习的日益普及，CD方法的最新发展引入了深度学习技术的使用，以提高精度和自动化水平超过传统方法。

然而，在使用supervised CD方法时，需要大量带标签的数据来训练数百万个参数的深度卷积网络。CD任务很难获得这些标记数据。为了解决这一问题，提出了一种基于生成对抗网络(GAN)的半监督卷积网络，SemiCDnet网络。首先，将标记数据和未标记数据输入分割网络，生成初始预测和熵图。然后，为了充分利用未标记数据的潜力，采用两种鉴别器来加强标记数据与未标记数据之间的分割图和熵图的特征分布一致性。在竞争训练过程中，利用未标记信息不断地对生成器进行正则化，从而提高生成器的泛化能力。在两个高分辨率遥感数据集上验证了本文方法的有效性和可靠性。大量的实验结果证明了该方法的优越性。

Introduction:

早期中低分辨率的图像，

Pixel-based CD (PBCD)：是通过比较不同日期获取的图像的像素光谱值或纹理值来实现的。（spectral or textual values of images），为了提取鲁棒性特征，使用图像变换方法，如PCA主成分分析，MAD多元变化检测。

随着图像分辨率的增加，

Object-based CD (OBCD) :利用对象特征或类成员关系来比较图像差异。

在OBCD方法中，空间-上下文信息被包含，提取了对象的许多特征（如，纹理，形状，几何结构）用于改善CD的准确率和可靠性。

前者可以使用无监督的方法，可以在无标记的数据中检测可能的变化，常用于中、低分辨率卫星图像的大规模监测。后者旨在通过监督模型检测特定变化，这些模型是从标记数据中学习的。简而言之，非监督CD方法通常检测变化的位置和扩展，而监督CD方法还可以识别变化的类型。

VHR图像包含丰富的空间细节信息，不太可能去关注所有变换。由人类活动或自然灾害造成的刻意为之的变化是比其他重要的。通过标签信息，这些变化可以通过使用监督学习模型更容易地定义和学习。因此我们关注监督的方法，从VHR图像中提取特定的变化信息，检测的变化内容和类型由标记的ground truth决定。

‘’’

三类CD方法的局限性：FB-DLCD，PB-DLCD，IB-DLCD

基于特征表示的方法，提取特征做差分图（DIs）。用阈值分割得到最后的变化图（change map）。但是DIs生成过程中的特征表示和相似度度量误差必然会传播到最终的CMs中。

‘’’

对于RS CD任务，开放注释的数据集很少，从而限制了DL模型，特别是FCNs模型的实际应用。一种方法是数据增强，然而，所有的增强方法都没有使用未标记数据，放大后的数据只能看作是对已有标记数据的插值。这使得该模型在未知的测试图像上表现不佳。

不依赖于弱注释，半辅助学习(semi-supervised learning (SSL) )能够利用可用的未标记图像的鉴别特征，从而提高模型泛化性能，并使使用小标记数据集训练模型成为可能。

为了解决上述提到的问题，我们提出一个用于VHR遥感影像的先进的半监督的变化检测网络SemiCDNet。

首先使用Unet++模型产生最初的变化结果（CMs），为了有效利用多层次特征，还为Unet++引入了Attention机制，产生VHR图像更精细的变化结果。其次，为了挖掘未标记数据的潜力，采用了两个判别器，增强了标记数据与未标记数据之间CMs和熵图的特征分布一致性，从而提高最终CD结果。

本文的贡献有以下两方面：

1. 针对半监督CD任务，提出了一种新的端到端SemiCDNet。为了提高分割性能，在UNet++网络中嵌入了一个轻量级注意模块。为了充分发挥未标记数据的潜力，通过结合分割对抗损失和熵对抗损失，部署一个生成对抗网络（GAN）。
2. 利用VHR卫星图像构建具有挑战性的数据集，已公开。

https://github.com/daifeng2016/Change-Detection-Dataset-for-High-Resolution-Satellite-Imagery

BACKGROUND AND RELATED WORK

1. Semantic Segmentation （省去）
2. Semisupervised Learning（SSL）

一个数据集D被分为labeled 数据集，包含M个有标注的数据，和unlabeled 数据集，包含N个无标注的数据，通常N>M。设神经网络为F,它的网络参数为，它要学习解决的优化问题为：

第一项是通过有标注的数据计算的监督损失。第二项是用无标注的数据计算的半监督损失。注意，半监督损失可以看作一个正则项，从而引入无监督正则化效果，提高模型泛化能力。

SSL方法已在语义分割领域取得了一定的成功。Hung et al. [56]提出一个基于GAN的半监督语义分割方法

通过将对抗性损失与交叉熵损失相结合，可以提高语义分割的准确率。通过发现预测结果的高可信度区域来利用未标记的图像，从而增强分割模型。

Mondal et al. [58]提出使用Cyclegan进行半监督语义分割。利用循环一致性来学习未配对图像与分割任务之间的双向映射，作为一种无监督的正则化，提高了分割性能。

[56] W.-C. Hung, Y.-H. Tsai, Y.-T. Liou, Y.-Y. Lin, and M.-H. Yang, “Adversarial learning for semi-supervised semantic segmentation,” 2018, arXiv:1802.07934. [Online]. Available: http://arxiv.org/abs/1802.07934

[58] A. K. Mondal, A. Agarwal, J. Dolz, and C. Desrosiers, “Revisiting CycleGAN for semi-supervised segmentation,” 2019, arXiv:1908.11569. [Online]. Available: http://arxiv.org/abs/1908.11569

PROPOSED SemiCDNet

A. SemiCDNet Architecture

SemiCDNet‘s architecture

包含两个判别器，一个生成器。

在G和Ds的竞争训练中，无标记的数据的预测结果yˆu的特征分布会逐渐与ground truth yl相似，因此可以改善无标记数据的预测结果。另外，在无标记数据上的预测有很大的不确定性。为了抑制这种不确定性，我们引入了第二个判别器De，进行entropy对抗学习。目标是通过对齐特征分布，促使entropy map eu和el相似。

G:label data 二值交叉熵损失；和两个D网的对抗损失。

D：segmentation adversarial loss LDs and entropy adversarial loss LDe

分割网络G和Ds，De交替训练。

B. Segmentation Network

Unet ++具有嵌套的密集跳跃连接，这极大地促进了多尺度特征的提取和增强，从而减轻了空间信息的退化。

Unet++的两处局限性：1. 在解码阶段，仅使用直接级联来组合高级和低级功能。高层特征和低层特征存在语义鸿沟，直接融合后的网络会产生一些差异和混淆。2. 并不是所有的组合特征都对网络有用，因此会产生冗余信息。

因此，我们采用了一种注意机制来重新加权特征并有效地整合它们。

编码阶段，5个卷积单元，进行5次下采样，提取多尺度特征。解码阶段，采用密集跳跃连接，注意力单元被加到每一次拼接操作后面，这样可以有效地结合不同的特征。最后sigmoid层产生最后的分割图。

为了避免梯度消失问题，卷积单元还采用了残差策略。

Attention模块，为了捕捉不同的线索，从而产生更精细的通道注意力，采用平均池和最大池两种方法，沿行和列维度聚合空间信息。

C. Discriminator Network

D网包括一个编码模块，一个全局平均池化层，一个全连接层，一个sigmoid层。

D. Loss Functions

G网通过三种损失训练：weighted binary cross-entropy loss,  segmentation adversarial loss, and entropy，adversarial loss.

1. weighted binary cross-entropy loss （yl_true,yl_predict）

为了克服CD中变化像素和不变像素之间的样本偏差问题，采用简单的加权二值交叉熵损失。这是一种标准的监督的像素级的分割损失，仅对标记数据产生其分割预测，可以表示为：

β：未变化像素的权重，1-β变化像素的权重

2.  segmentation adversarial loss

Ds用于判断分割图是来自无标记的样本的预测，还是来自有标注的groundtruth。促使生成器G预测的G(xu)的特征分布与有标注样本的groundtruth yl特征分布对齐。受CGAN的启发，输入图像和标签图像的堆叠后送入Ds。因此，分割对抗损失被计算为：

⊕是拼接操作，LD是二值交叉熵损失。其中G网使用以下对抗损失进行优化：

3. Entropy Adversarial Loss

一般情况下，生成器G倾向于对标记数据进行低熵高确定性的预测，而对未标记数据进行的预测具有高熵低确定性。因此可以对无标记数据进行低熵值的约束。本文采用香农熵来计算熵图，熵图（Entropy map）定义为：

•表示点积的操作。De来判断熵图是来自有标记数据还是无标记，可以对齐E(xu) 和E(xl )之间的特征分布，还可以抑制无标记数据熵图的高不确定性。De输入也是将熵图和它对应的图片堆叠在一起。

G网的优化：

G网总共通过三个损失函数进行优化：

训练过程：G和D（Ds,De）交替训练。

IV. EXPERIMENTAL RESULTS AND DISCUSSION

1. Descriptions of Data Sets

为了验证提出的方法，两个变化检测集在实验中被使用：WHU building data

Set和Google data set，都包含了大量的成对的VHR影响用于CD任务。

1. WHU Building Data Set

数据集包含了两对分别拍摄于2012，2016年的新西兰的克赖斯特彻奇的同样区域。每张图片大小32 507×15 345，0.075 m的分辨率，主要的变化是建筑物：如下图所示。由于GPU内存的限制，将图像对裁剪成至少包含有一小部分改变像素的256×256个不重叠的图像块，生成1922对图像。然后通过随机抽样生成训练数据集和测试数据集。为了避免过拟合，我们通过随机变换和缩放，90◦旋转，180和270，水平和垂直翻转来扩大训练数据。

2） Google Data Set

这些图像采集于2006年至2019年期间，覆盖了中国广州市的郊区，在过去十年城市化进展很迅速。

通过Google Earth 的BIGEMAP软件，收集了19对季节变化的VHR图像，分辨率为0.55m。图像大小范围从1006×1168 到 4936×5224 pixels。图像里包含了许多变化，由于VHR图像的复杂性，不可能标记全部种类。只标记了建筑物，代表了城市化引起的主要变化。

使用ArcGIS 和 eCognition两个软件进行人工标记。前者是通过仔细的视觉解读来检测建筑的变化，后者是通过基于对象的分析来标记变化。（？？）

训练过程也是切成了至少包含有一小部分改变像素的256×256个不重叠的图像块。生成了1067对图像，后面也采取了数据增强。

相比与WHU数据集，我们的数据集更有挑战性：1） 大型建筑形状和尺寸变化，建筑更加复杂和多样化，从大型工业和住宅到小型移动式住宅；2）高层建筑透视投影引起的大位移。

B. Training Details （省去）

C. Comparative Methods and Evaluation Metrics

Metric-评价指标：F1-score (F1), overall accuracy (OA) and Kappa coefficient (Kappa)

（1） WHU DATASET

其他方法存在漏检，和误警。SemiCDNet的检测结果与GT更一致。比如和Baseline UNet++_att相比，SemiCDNet减少了漏检情况，如漏掉的建筑物或孔洞。

性能提升原因：

1. 通过增强分割图和熵映射的分布一致性约束，充分利用了未标记信息，提高了检测真实变化和抑制不确定变化的能力。
2. 通过生成器和判别器的竞争训练，提升了生成器的泛化能力和鲁棒性。

(2) Change Dataset(Google data)

不同方法在不同数据集上花费的时间对比：

提出的方法加不加注意力机制，F1,KAPPA对比。

E. Discussion

（1）注意力机制的有效性

计算不同层次的特征图权重，从而突出有用的特征并抑制冗余信息。

（2）对抗损失的有效性

消融实验：

加不加Ds,De对结果F1的影响。

这证实了利用未标记信息来规范生成模型的重要性。

（3）Direct Entropy Minimization Versus Entropy Adversarial Learning

直接的熵最小化与熵对抗学习

       包括1) direct entropy minimization (DEM) and 2) entropy adversarial learning (EAL).

DEM在计算熵损失时独立地处理每个像素，从而忽略了局部结构信息。相反，在EAL中，通过增强未标记和标记熵映射之间的特征分布一致性，较好地考虑了局部结构一致性，间接地最小化了熵。

（4）FCN Discriminator Versus FC Discriminator:

FCN鉴别器比FC鉴别器在输出空间产生更多的信息。鉴别器的不合理引导，会导致生成器的性能下降。

V. CONCLUSION

提出SemiCDNet变化检测网络包括一个生成器和两个判别器（分割判别，熵图判别），一个用于鼓励分割输出特征分布的一致性，另一个用于抑制未标记样本变化映射的不确定区域。

只需要较少的labeled data (10%,20%)，加上判别器可以探索无标记数据的潜能。

生成器是加了注意力机制的UNet++

通过对抗训练，生成器逐渐从标记和无标记样本中学习到信息，从而产生更精细的变化图。

SSL能够引入非监督正则化来改进监督学习，从而使使用有限数量的标记数据训练模型成为可能。由于SSL在利用未标记信息方面的强大能力，它在解决CD问题方面引起了越来越多的关注。