论文笔记：基于深度学习的遥感影像变化检测综述

论文主要信息

本篇博文主要是对该论文进行总结和翻译，如有错漏，欢迎指出。（目前仅对有监督学习部分进行了整理）

标题：Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis

原文地址：https://arxiv.org/abs/2006.05612v1

文章组织架构

全文主要介绍了基于深度学习的变化检测方法以及对该领域的元分析（元分析：对多项相互独立但目标相同的研究结果进行定量合并分析），并概述了已有的基于深度学习的遥感影像变化检测方法；

除了第一部分的简介，文章之后的几个部分主要为：

第二部分介绍了对变化检测任务的定义；

第三部分简要概述了一些经典的深度学习方法（包括Deep belief networks (DBNs)，Autoencoder，CNN，RNN，GANs这几种）

第四部分对遥感影像变化检测领域的相关论文进行了收集与分析；

第五部分将以往工作分为以下三个部分进行介绍：有监督学习，无监督学习以及迁移学习；

第六部分介绍了遥感影像变化检测的两个未来发展方向；

第七部分为全文的conclusion。

本篇博文不会就原论文第三部分深度学习方法的理论基础进行讨论。

变化检测简介

变化检测任务流程

简单来说，就是输入一组照片（一般是两张，论文中把这样的一组照片叫co-registered images）这些照片大小一致（同样的长×宽），内容为不同时间拍摄的同一地理区域。输出为一张同样大小的图像（change map），该图像仅由两种像素构成：1和0。若某个位置的像素为1，表示co-registered images中对应位置的像素发生了变化，若无变化则为0。

论文中的图：

 变化检测面临的问题

对于变化检测，我们希望它能检测出影像中主要地物目标的变化而不受一些无关因素的干扰。例如，co-registered images虽然都是对同一地区影像内容的呈现，但可能前一张在拍摄时有云雾的遮盖而后一张没有，但算法却将云雾识别为地物内容的变化；另外，光照角度，阴影，地面物体的反射，植被生长，泥土冲刷等因素都可能影响到变化检测。因此我们希望能设计出不受以上无关因素影响的robust算法。

对相关论文的元分析

作者对使用深度学习技术解决遥感影像变化检测的论文做了统计与分析，得出以下几个结论：

（1）研究该领域的论文发表量和引用量逐年增多，呈指数级增长。 

（2）论文所用深度学习方法中，使用CNN的是最多的。

 （3）论文中用到的遥感影像数据，最多的是SAR（Synthetic Aperture Radar，合成孔径雷达）。按作者的分析，这是由于SAR使用的微波信号可以有效穿透云层，其对地面的成像不易受到光照等大气条件的影响，对变化检测任务来说是比较有利。

基于有监督深度学习的遥感影像变化检测方法

Jaturapitpornchai et al. [63]

论文名：Newly Built Construction Detection in SAR Images Using Deep Learning

该论文提出了一种基于UNet的网络，用于从两张不同时期拍摄的SAR影像中对同一区域中的建筑物进行变化检测。

Hamdi et al. [73]

论文名：Forest Damage Assessment Using Deep Learning on High Resolution Remote Sensing Data

该论文通过改进的UNet网络，在ArcGIS环境下检测受灾区域。模型训练使用的数据源自德国巴伐利亚州的森林地区。

Peng et al. [74]

论文名：End-to-End Change Detection for High Resolution Satellite Images Using Improved UNet plus

该论文提出的基于UNet++改进的网络，实现了对于VHR卫星影像端到端的变化检测。为了学习到不同尺寸的特征图像，作者在网络的不同层之间加入了密集的skip connection结构。另外，为了加快网络的梯度收敛，残差块（residual block）策略也被应用于网络之中。

Wang et al. [75]

论文名：GETNET: A General End-to-End 2-D CNN Framework for Hyperspectral Image Change Detection

该论文提出的通用端到端的二维CNN：GET-NET，用于对高光谱影像进行变化检测。

Wiratama et al. [77]

论文名：Dual-Dense Convolution Network for Change Detection of High-Resolution Panchromatic Imagery

该论文基于对高分辨率全色图像中相邻像素的差异性分析，提出了一种用于识别像素级变化的双密集卷积网络。作者使用两个全卷积网络来计算相邻像素的差异。另外，卷积层中的密集连接可将网络前部的特征图复用于之后的层中。

Zhang et al. [78]

论文名：Detecting Large-Scale Urban Land Cover Changes from Very High Resolution Remote Sensing Images Using CNN-Based Classification

论文提出了一种使用空洞卷积的全卷积网络FACNN。网络中的encoder使用了空洞卷积，来从VHR （Very High Resolution）图像中提取尺度特征。然后，作者使用当前图像的分类图以及GIS信息，来基于像素生成change map。

Daudt et al. [79]

论文名：Multitask Learning for Large-scale Semantic Change Detection

该论文提出一个基于FCN的网络，可同时进行土地覆盖制图以及变化检测。

Zhang et al. [80]

论文名：The Spectral-Spatial Joint Learning for Change Detection in Multispectral Imagery

作者提出了一个光谱-空间联合学习网络（spectral-spatial joint learning network，SSJLN）。在网络的第一部分，光谱-空间的联合表示源自一个类似Siamese CNN的网络；其次，提取出的特征通过一个特征融合模块进行结合；为了探索结合特征中的潜在信息，网络最后还要进行discrimination learning。

Cao et al. [82]

论文名：SAR image change detection based on deep denoising and CNN

作者将deep denoising model与CNN结合，其中deep denoising model是在大量伪造的SAR图像上训练来的。deep denoising network可同时保留有效信息并抑制噪音，三层的CNN网络用于特征学习。

Wiratama et al. [83]

论文名：Fusion Network for Change Detection of High-Resolution Panchromatic Imagery

该论文提出了一种结合了前端神经网络和后端神经网络的网络结构。该方法对高分辨率全色影像的变化检测表现较为突出。

Future Work

由于遥感影像变化检测任务较为缺乏标注信息以及标注遥感影像需要极高的成本，且往往不可靠，作者提出了将深度强化学习以及弱监督学习的相关技术应用于遥感影像变化检测。

深度强化学习将深度神经网络与强化学习架构相结合，软件所定义的智能体（agent）可以从它们的行为中学习，类似于人类的学习方式。Agent在定义的任务环境中随机探索，通过持续性的反馈信息来调整它们的行为以求达到任务目标。变化检测过程同样可以视为行动决策问题。Agent的一系列行动即为从两张输入图像中逐渐精细地识别出变化区域。

Fu et al. [122]等论文证明了使用深度强化学习来解决遥感影像船舶识别任务是可行的。Li et al. [123]结合了CNN与强化学习，提出了一个飞行器识别架构。

对于弱监督学习，作者首先对其进行了分类：

1. 不完全的监督。即训练数据中仅有一小部分拥有标注信息，这不足以成功地训练网络。

2. 不精确的监督。数据有对应的标注信息，但这些信息是粗糙的，不够精确的。

3. 不正确的监督。即部分标注信息有误。

虽然有文献证明在地理空间目标识别领域使用弱监督学习是可行的，但目前在遥感影像领域的弱监督学习的表现仍很难令人满意，例如仍存在变化区域检测精度不足的问题。