解决区域变化检测识别问题的智能方法/深度学习方法

写在前面

本篇文章主要总结梳理了以下两篇综述的内容，总结了在遥感图像领域解决区域变化智能检测识别问题的智能方法。

• Change Detection Based on Artificial Intelligence
• Deep Learning for Change Detection in Remote Sensing Images

1.区域变化检测的研究背景

在城市规划，环境监测，农业调查，灾害评估和地图修订中，变化检测技术具有广泛的应用。由气候变化引起的极端灾害的数量不断增加，例如干旱，洪水，飓风和热浪，研究人员面临的新挑战，需要开发更有效的区域变化智能检测识别。受上述观问题的推动，为解决基于遥感（RS）数据检测地球表面变化的问题，引入深度学习智能算法来进行自动变化检测，并在遥感图像分析领域取得了巨大的成功。

区域变化检测是对两个不同时期内现象或物体的表面变化进行定量分析和确定的一种操作[1]。这个过程是地球观测领域的一项基本技术，它试图区分分别从同一地理区域或区域，但在不同时间获取的双时相或多时相遥感图像的变化像素和未改变像素[2]。基于一对或一系列图像为每个像素分配一个二进制标签代表了变化检测系统的主要目的，正标签意味着该像素的区域已更改，而空标签则表示未更改的区域（见图1）[3]。实际上，变化检测是用于视频监视，绘制城市区域和其他形式的多时间分析的强大工具。

图1卫星图像中区域变化检测结果

区域变化检测已成功用于各种应用程序中。特别是在农业部门，对森林砍伐监测，灾害评估和轮班种植监测采用变化检测。在军事领域，它现在被用来收集有关新的军事设施，敌军的军事行动，战场区域和损害评估的信息[4]。在民用领域中，变化检测用于控制城市区域的发展和城市扩展[5]。此外，它还可以通过与大气中温室气体（GHG）排放水平增加相关的变化来监视气候，例如质量平衡和冰川相的变化或海平面的变化。遥感影像变化检测经过几十年的发展，现已广泛应用在多种领域，能有效地实现对地球的保护、资源的可持续发展等目标。国内外研究学者们一直致力于提出综合性强、适用性广的遥感变化检测技术，实现自动化、高效的变化检测过程。

2.区域变化检测技术面临的挑战

尽管变化检测算法在各种应用领域中应用广泛，但它仍面临一些严峻的挑战。

由于遥感影像分辨率的逐步提高，地物的阴影变得更加清楚，数据中不相关的信息可能会影响寻找相关变化的过程。这种变化通常会以大气特征出现，例如雾，云和灰尘。例如，同样的位置在不同时间卫星图像中存在的云导致明亮的斑块，该斑块可能被识别为差异，阳光的角度也可能带来场景中阴影的存在和方向差异的问题。此外，雨前后的植被生长和诸如土壤之类的物体的表面反射率也会影响变化的结果。因此，除了检测时间变化之外，鲁棒的变化检测方法还必须能够区分卫星图像中的相关变化和不相关变化。比如通过多源数据相互结合的方法来扩大影像数据的范围。

数据预处理过程中，影像之间的配准误差和光谱差异仍需解决，并且对于需要拼接的图像 ，影像的镶嵌与裁剪效果需要进一步地提高。随着一代代遥感卫星的升级，运用一定的算法使其采集的影像具有相同的亮度或者渐变亮度信息，使得两幅影像之间的拼接处过渡自然；同时还可建立统一的地理参考系，这样在同源甚至多源遥感卫星下采集的影像间也不会有很大的配准误差。[6]

除此之外，在变化检测的效率上亟待提高，现在对于变化检测方法的训练需要花费很多时间和精力，尤其是用深度学习进行训练需要很高的实验配置以及大量的参数进行调整。预训练网络模型的共享以及在预训练好的模型上进行进一步的参数优化能减少模型训练上所耗费的时间。

3.区域变化检测数据集

遥感影像的获取是进行变化检测的第一步。用于变化检测的数据类型分为光学RS图像，合成孔径雷达SAR图像和街景图像。其中，街景图像通常用作辅助数据。RS数据可以提供街道级别的观测数据，通常是周期性采集，具有实时性，并且影像数据清晰，覆盖多波段，地物信息丰富，但是容易受到天气云雾的影响，存储空间大，处理过程较为耗时。光学RS和SAR图像分别通过无源和有源传感器收集，覆盖了不同的电磁光谱范围。SAR影像能够覆盖全天时和全天候，具有很强的穿透力，不容易受到天气云雾的影响，且具备三维数据信息 ，但是只覆盖了单波段（灰度图），并且空间分辨率低、信噪比低、存在斑点噪声。其他数据源，例如数字高程模型（DEM），地理信息系统（GIS）数据和点云数据，可以提供有价值的补充属性。不同数据源的示例如图3所示。

据统计[7]，SAR图像是深度学习模型中最常用于变化检测的数据类型，其次是多光谱，方差，光学，异构（即多模态）和高光谱图像。原因是合成孔径雷达SAR数据可以通过云层进入 的微波信号捕获图像[8]，因此具有对日照和复杂的大气条件不敏感的显着优势[9]。

图3.用于检测变化的不同数据源的示例：（a）光学RS图像（b）SAR图像（c）数字高程模型（DEM）（d）地理信息系统（GIS）数据[10]（e）点云数据[11]（f）街景图像[12]现有可用于变化检测任务的开放数据集数量很少，并且其中一些数据量较小。下表列举了部分RS数据集。

可用于变化检测任务的开放数据集数量很少，并且其中一些数据量较小。

目前，仍然缺少可用于AI训练的大型SAR数据集。大多数基于AI的变化检测方法都是基于一些包含有限变化类型的SAR数据集，例如，伯尔尼数据集，渥太华数据集，黄河数据集和墨西哥数据集[19,20]，这些数据集并不针对土地覆盖复杂，变化类型多样的地区进行变化检测。街景数据集通常来自于研究计算机视觉中，因此，除了街景图像数据集外，CV中的多个视频数据集也可以用于基于AI的变化检测方法的研究，例如CDNet 2012[21]和CDNet 2014[22]。

4.区域变化检测所采用的智能方法

深度学习近来已成为变化检测领域中备受关注的焦点。与传统的基于手工特征的方法相比，深度学习从各种遥感数据中自动学习高级特征。图4说明了基于智能方法的区域变化检测 手段所采取的一般流程。

图4 基于智能方法的区域变化检测实现过程

基于AI的变化检测的实现过程包括以下四个主要步骤：

1. 均匀化
   由于采集时光照和大气条件，季节和传感器的差异，通常需要在检测变化之前均匀化多周期数据。几何校正和辐射校正是两种常用的方法[23，24]。前者的目的是在几何上对齐两个或多个给定的数据，这可以通过配准或影像融合来实现。给定两个周期数据，只有当它们重叠时，相应位置之间的比较才有意义[25]。后者旨在消除由传感器数字化过程引起的辐射或反射率差异以及由大气中吸收和散射引起的大气衰减畸变[26]，这有助于减少变化检测中由这些辐射错误引起的误报。对于异构数据，可以设计一种特殊的深度学习模型结构来进行特征空间转换，以实现变化检测。

2. 训练集生成
   要开发智能模型，需要一个大型且高质量的训练集。需要使用某些技术（例如，手动注释[27]，预分类[28]，使用专题数据[29]）对多周期数据进行标记或注释，以使智能模型易于学习更改后的特征对象。为了缓解训练数据不足的问题，数据增强是一种很好的策略，例如水平或垂直翻转，旋转，缩放比例变化，裁剪，平移或添加噪声，可以显着增加数据的多样性，而无需实际收集新数据。

3. 模型训练
   训练集生成后，通常可以根据样本数量或地理区域将其分为两个数据集：一个用于模型训练的训练集和一个用于在训练过程中进行准确性评估的测试集。训练和测试过程是不断交替和迭代的。在训练过程中，根据学习准则优化模型，该准则可以是深度学习中的损失函数（例如，softmax损失，欧几里得损失或交叉熵损失）。通过训练和测试，可以获得模型的收敛状态，这有助于调整其超参数（如学习率），并有助于判断模型性能是否达到最佳（即终止）条件。

4. 模型部署
   通过部署训练有素的智能模型，可以针对实际应用更智能，自动地生成变化结果图。而且，这可以帮助验证模型的泛化能力和鲁棒性，这是基于智能方法的变化检测技术的实用性的重要指标。

根据学习技术和可标记或未标记的训练数据的可用性将用于变化检测的深度学习方法分为三类。第一类为全监督的方法，通过从标记的训练数据集中学习来解决问题。第二种方法为无监督的方法，可从未标记的数据集中学习。第三类方法包含基于迁移学习的方法。迁移学习是一项重要的机器学习技术，它试图利用从一项任务中学到的知识并将其应用于另一项不通但相关的任务，目的是减少必要的微调数据大小或提高性能。
根据统计数据[7]表明，CNN模型被最广泛地应用于变化检测，其次是SAE，DBN，RNN，AE ，RBM和GAN模型。CNN的这种较高流行性可能是因为它更适合通过抽象出更高级别的特征来从输入数据中学习分层图像表示。

4.1全监督方法

在使用大量标记数据进行正确训练的情况下，监督深度网络的效率尤其明显。近年来，有人提出了一些全监督的深度学习方法，比如基于CNN的RS图像变化检测。CNN是分层模型，可将输入图像转换为多层特征图，这些特征图反映原始输入数据的高级区分特征[30]。

基于全卷积网络的U-Net被视为用于变化检测任务的标准CNN体系结构之一。U-Net的一般网络架构是对称的，具有一个从图像中提取空间特征的编码器和一个从编码后的特征构建分割图的解码器[31]。Jaturapitpornchai等人[32]详细提出了一个基于U-Net的网络，该网络使用在不同时间捕获的两个SAR图像来检测发展中地区的新颖建筑。

图5 Hamdi等人改进的U-net网络框架图[33]

随后，许多人提出了对U-Net结构的扩展。Hamdi等人[33]使用修改后的U-Net模型开发了一种算法，用于在ArcGIS环境中自动检测和绘制损坏区域。Peng等人[34]提出了一种改进的UNet++体系结构，用于VHR卫星图像的端到端变化检测。

除此之外，Daudt等人[35]提出了基于深度FCNN的集成网络，该网络同时使用土地覆盖制图分支的信息来帮助进行变化检测，同时执行土地覆盖制图和变化检测。张[36]等提出了一种频谱空间联合学习网络（SSJLN）。刘等[37]通过将CNN与双向长期短期存储网络（BiLSTM）组合为一个统一体系结构，证明了它们的互补性。

4.2无监督方法

对于变化检测任务，通常没有足够的训练数据来建立模型。另外，建立一个反映地面物体真实变化信息的正确标注（ground-truth）需要花费大量的时间和精力。因此，在许多情况下，以无监督的方式学习从遥感图像生成的变化特征会更加有效。

无监督深度学习方法已经有了许多增强和发展，已成功应用于识别遥感（RS）场景和目标。最著名和最重要的方法之一是将不同的浅层特征学习方法（例如高斯混合模型，AE，稀疏编码和RBM）堆叠（或组合）在一起[38]。

图6 R Fan等人提出的无监督方法网络模型[38]

为了检测多光谱图像中的变化，Zhang等人[39]提出了一种新的无监督方法，结合了深度置信网络（DBN）和特征变化分析（FCA）。因此，为了捕获有用的信息以在变化和未变化的区域之间进行区分并抑制不相关的变化，可用的频谱通道通过DBN转换为抽象特征空间。然后，使用这些学习到的功能，执行FCA以识别不同类型的变化。同样，Su等人[40]针对信息不平衡图像的三元变化检测任务，引入了一种新颖的深度学习和映射（DLM）框架。为了在没有任何监督的情况下实现更精确的三元变化检测，Gong等人[41]已将SAE，CNN和无监督的聚类算法结合在一起。吕等[42]提出了一种基于堆叠压缩自动编码器（sCAE）和简单聚类算法相结合的特征学习方法。龚等人[43]开发了用于多光谱图像变化检测的生成性判别分类网络（GDCN）。最近，黄等人[44]提出了一种新的基于深度学习的无监督算法，称为ABCDHIDL，可以从多时相高分辨率遥感（HRRS）图像中自动检测建筑物的变化。

4.3迁移学习方法

在许多遥感应用中，重新收集所需的训练数据并重建模型需要非常大的开销。在这种情况下，在任务域之间进行迁移学习或知识迁移可能是一种可靠的解决方案。迁移学习被定义为从一个或多个源任务中提取知识并将其应用于新颖或目标任务的能力[45]。
当前在迁移学习研究中采用了两种基本方法。第一种方法包括将经过不同任务训练的网络（如AlexNet或resnet-101）的一层或多层输出作为通用的高维特征检测器，并基于这些特征训练新的浅层模型[46]。第二种方法涉及更多，其中包括对一般图像中经过预训练的网络进行微调。最终层（用于分类/回归）被替换，而先前的层被保留[47]。遵循先前的方法，Hou等人[48]已经在大规模自然图像数据集（例如ImageNet）上进行了预训练的CNN传输到RS域。

图7 杨等人提出的基于转移深度学习的遥感图像变化检测方法[49]

除此之外，杨等[49]通过减少两个域之间的分布差异，采用了从源域到目标域学习的变化概念。尽管海冰变化检测任务的训练数据是有限的，但在Gao等人[50]的工作中大数据集被用来训练迁移的多级融合网络MLFN。

5.智能方法目前进展与最佳水平

5.1 城市变化

由于人口的增长，城市化的扩展导致自然土地覆盖物转变为人类的城市设施，发生的变化包括城市扩展，公共空间和建筑物等。

在[51]中，作者提出了一个基于转移学习和RNN的新框架（如图8），用于市区提取和变化检测。在四个目标城市（北京，纽约，墨尔本和慕尼黑）中，其城市变化地图的整体准确性约为96％。该方法使用遗传算法演化的人工神经网络[52]或CNN [53]，城市变化通过将预测的城市分布图中的差值获得。

图8 城市提取和变化检测的框架流程图[52]

对于公共空间管理来说，基于街景图像的变化检测是识别公共空间变化的一种方法。在[54]中，使用CNN的连体结构和转移学习在VL-CMU-CD数据集中达到了98.3％的像素精度。

此外，许多研究都集中在建筑变化上。由于建筑物规模较小，通常基于高或非常高空间分辨率的RS数据进行变化检测。但是，由于实验数据的差异，很难评估哪个具有最佳性能。在[55]中，作者提出了两个CNN模型，一个用于基于对象的实例分割的掩码R-CNN和一个用于基于像素的语义分割的多尺度CNN，它们的建筑物联合（IoU）精度相交大于0.83。在[56]中，作者提出了一种基于金字塔特征的注意力导向的神经网络来检测建筑物的变化（如图9），变化图的IoU超过0.97。当持续的云覆盖问题出现在光学RS图像中时，SAR数据是一个很好的选择[57]。另一方面，为了获得更多的建筑物信息以促进变化检测，机载激光扫描数据[58]和建筑物主题数据[59]可以分别提供建筑物的3D信息和先验知识。

图9 基于金字塔特征的注意力导向的神经网络检测建筑物的变化[56]

5.2 资源和环境

土地覆盖的变化通常反映了气候和水文学的变化。因此，基于智能方法的变化检测技术可以提供有效的方法来监视资源和环境的变化。 [60]的作者使用ANN通过检测LULC的变化位置来研究LULC的变化以及对出口径流的影响。地表水对人类至关重要，使用ANN或CNN可以有效地检测其变化。除此之外，获得海冰变化对于极地地区的航行安全和气候研究至关重要，[61]的作者采用基于迁移学习的框架和CNN模型从两周期SAR图像中检测海冰变化，并获得了kappa系数超过94％的结果。

5.3 自然灾害

自然灾害是改变景观外观的有力因素。因此，基于遥感数据的变化检测技术是监测自然灾害的重要手段。例如，通过基于CNN的变化检测方法，可以实现更自动和准确的滑坡测绘[62,63,64,65]。损害评估是变化检测的重要应用领域，自然灾害之后，基于AI的变化技术可以使用事前和事后数据帮助识别受损区域。现有研究主要包括海啸[66,67,68,69,70]，洪水[71]，火灾[72]和地震[73,74]。

5.4 天文天体

在[75]中，提出了一种新的基于AI的方法来进行行星表面变化检测，它采用了基于转移学习的框架和卷积AE模型。实验表明，该方法优于基于差分图像的方法。

6.智能方法所面临的挑战

智能变化检测方法的各种应用已证明深度学习技术在RS变化检测领域取得了巨大的成功。但是仍存在许多挑战，涉及以下方面：

6.1 异构大数据处理

随着各种平台和传感器的发展，诸如高维数据集（高空间分辨率和高光谱特征），复杂的数据结构（非线性和重叠分布）以及非线性优化问题（高计算复杂度）将带来重大挑战。多源数据的复杂性极大地增加了使用智能方法从训练数据中学习变化的难度。

6.2 训练样本的获取

有监督的智能变化检测方法需要大量的训练样本，这些样本通常是通过费时费力的过程获得的，例如人工解释RS产品和进行现场调查。在训练样本不足的情况下，训练出基于智能变化检测方法的精准模型是一个巨大的挑战。

6.3 准确的通用模型

目前，研究人员不断提出新颖的智能变化检测方法。选择一个高效的深度学习模型和框架并确保其准确地适用于不同应用也是一个巨大的挑战。

7.未来研究趋势

智能方法的未来的研究趋势可能围绕着深度强化学习和弱监督的变化检测。

7.1深度强化学习

由于缺乏足够的带标签的训练数据库来进行有监督的变化检测任务，因此由深度学习方法生成的特征的描述能力可能会受到限制甚至变得贫困。近年来，深度强化学习已成为机器学习领域的关注焦点，并且在计算机视觉的各个领域中显示出了巨大的潜力和出色的性能，例如自动驾驶，对象跟踪，人员重新识别等。

7.2弱监督变化检测

考虑到数据标记操作的高昂成本，在许多计算机视觉任务中，很难获得强大的监管信息（例如，具有完全真实标签的数据集）。在遥感图像中，手动注释通常很昂贵甚至不可靠。特别是对于变化检测任务，变化的区域非常小，背景通常混乱且复杂，并且图像可能由不同的传感器拍摄。训练基于弱监督学习的变化检测框架可以减轻对手动注释的需求。地理空间物体检测领域的一些最新进展显示了使用弱监督学习的可行性。

参考文献

[1] A. SINGH, “Review article digital change detection techniques using remotely-sensed data,” International Journal of Remote Sensing, vol. 10, no. 6, pp. 989–1003, 1989.
[2] S. Liu, L. Bruzzone, F. Bovolo, and P. Du, “Hierarchical unsupervised change detection in multitemporal hyperspectral images,” IEEE Transactions on Geoscience and Remote Sensing, vol. 53, no. 1, pp. 244–260, 2015.
[3] R. Liu, Z. Cheng, L. Zhang, and J. Li, “Remote sensing image change detection based on information transmission and attention mechanism,” IEEE Access, vol. 7, pp. 156 349–156 359, 2019.
[4] K. L. de Jong and A. S. Bosman, “Unsupervised change detection in satellite images using convolutional neural networks,” CoRR, vol. abs/1812.05815, 2018.
[5] N. Kadhim, M. Mourshed, and M. Bray, “Advances in remote sensing applications for urban sustainability,” Euro-Mediterranean Journal for Environmental Integration, vol. 1, no. 7, 2016
[6] 任秋如,杨文忠,汪传建,魏文钰,钱芸芸.遥感影像变化检测综述[J/OL].计算机应用:1-13[2021-02-22].http://kns.cnki.net/kcms/detail/51.1307.tp.20210114.0948.036.html.
[7] Khelifi L, Mignotte M. Deep learning for change detection in remote sensing images: Comprehensive review and meta-analysis[J]. IEEE Access, 2020, 8: 126385-126400.
[8] R. Jaturapitpornchai, M. Matsuoka, N. Kanemoto, S. Kuzuoka, R. Ito, and R. Nakamura, “Newly built construction detection in sar images using deep learning,” Remote Sensing, vol. 11, no. 12, pp. 1–24, Jun 2019.
[9] M. Yang, L. Jiao, F. Liu, B. Hou, and S. Yang, “Transferred deep learning-based change detection in remote sensing images,” IEEE Transactions on Geoscience and Remote Sensing, vol. 57, no. 9, pp. 6960–6973, Sep. 2019
[10] OpenStreetMap. Available online: http://www.openstreetmap.org/ (accessed on 4 May 2020).
[11] ISPRS Benchmarks. Available online: http://www2.isprs.org/commissions/comm3/wg4/3d-semantic-labeling. html (accessed on 4 May 2020).
[12] Cordts, M.; Omran, M.; Ramos, S.; Rehfeld, T.; Enzweiler, M.; Benenson, R.; Franke, U.; Roth, S.; Schiele, B. The cityscapes dataset for semantic urban scene understanding. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Seattle, WA, USA, 27–30 June 2016; pp. 3213–3223.
[13] Hyperspectral Change Detection Dataset. Available online: https://citius.usc.es/investigacion/datasets/ hyperspectral-change-detection-dataset (accessed on 4 May 2020).
[14] Wang, Q.; Yuan, Z.; Du, Q.; Li, X. GETNET: A General End-to-End 2-D CNN Framework for Hyperspectral Image Change Detection. IEEE Trans. Geosci. Remote Sens. 2018, 57, 3–13.
[15] Daudt, R.C.; Le Saux, B.; Boulch, A.; Gousseau, Y. Multitask learning for large-scale semantic change detection. Comput. Vis. Image Underst. 2019, 187, 102783.
[16] Ji, S.; Wei, S.; Lu, M. Fully Convolutional Networks for Multisource Building Extraction from an Open Aerial and Satellite Imagery Data Set. IEEE Trans. Geosci. Remote Sens. 2018, 57, 574–586.
[17] Benedek, C.; Sziranyi, T. Change Detection in Optical Aerial Images by a Multilayer Conditional Mixed Markov Model. IEEE Trans. Geosci. Remote Sens. 2009, 47, 3416–3430.
[18] . Benedek, C.; Sziranyi, T. A Mixed Markov model for change detection in aerial photos with large time differences. In Proceedings of the 2008 19th International Conference on Pattern Recognition, Tampa, FL, USA, 8–11 December 2008; pp. 1–4.
[19] Gong, M.; Zhao, J.; Liu, J.; Miao, Q.; Jiao, L. Change Detection in Synthetic Aperture Radar Images Based on Deep Neural Networks. IEEE Trans. Neural Netw. Learn. Syst. 2016, 27, 125–138.
[20] Lv, N.; Chen, C.; Qiu, T.; Sangaiah, A.K. Deep Learning and Superpixel Feature Extraction Based on Contractive Autoencoder for Change Detection in SAR Images. IEEE Trans. Ind. Inform. 2018, 14, 5530–5538.
[21] Goyette, N.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Ishwar, P. Changedetection. net: A new change detection benchmark dataset. In Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, Providence, RI, USA, 16–21 June 2012; pp. 1–8.
[22] Wang, Y.; Jodoin, P.-M.; Porikli, F.; Konrad, J.; Benezeth, Y.; Ishwar, P. CDnet 2014: An Expanded Change Detection Benchmark Dataset. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Columbus, OH, USA, 23–28 June 2014; pp. 393–400.
[23] Chen, H.; Wu, C.; Du, B.; Zhang, L.; Wang, L. Change Detection in Multisource VHR Images via Deep Siamese Convolutional Multiple-Layers Recurrent Neural Network. IEEE Trans. Geosci. Remote Sens. 2020, 58, 2848–2864.
[24] Wang, X.; Liu, S.; Du, P.; Liang, H.; Xia, J.; Li, Y. Object-Based Change Detection in Urban Areas from High Spatial Resolution Images Based on Multiple Features and Ensemble Learning. Remote Sens. 2018, 10, 276.
[25] Zhang, P.; Gong, M.; Su, L.; Liu, J.; Li, Z. Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images. ISPRS J. Photogramm. Remote Sens. 2016, 116, 24–41.
[26] Lu, D.; Mausel, P.; Brondizio, E.; Morán, E. Change detection techniques. Int. J. Remote Sens. 2004, 25, 2365–2401.
[27] Zhao, W.; Mou, L.; Chen, J.; Bo, Y.; Emery, W.J. Incorporating Metric Learning and Adversarial Network for Seasonal Invariant Change Detection. IEEE Trans. Geosci. Remote Sens. 2020, 58, 2720–2731.
[28] Zhao, J.J.; Gong, M.G.; Liu, J.; Jiao, L.C. Deep learning to classify difference image for image change detection. In Proceedings of the 2014 International Joint Conference on Neural Networks, Beijing, China, 6–11 July 2014; IEEE: New York, NY, USA, 2014; pp. 397–403.
[29] Ji, M.; Liu, L.; Du, R.; Buchroithner, M.F. A Comparative Study of Texture and Convolutional Neural Network Features for Detecting Collapsed Buildings After Earthquakes Using Pre- and Post-Event Satellite Imagery. Remote Sens. 2019, 11, 1202.
[30] L. Zhang, L. Zhang, and B. Du, “Deep learning for remote sensing data: A technical tutorial on the state of the art,” IEEE Geoscience and Remote Sensing Magazine, vol. 4, no. 2, pp. 22–40, 2016.
[31] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015, N. Navab, J. Hornegger, W. M. Wells, and A. F. Frangi, Eds. Cham: Springer International Publishing, 2015, pp. 234–241.
[32] R. Jaturapitpornchai, M. Matsuoka, N. Kanemoto, S. Kuzuoka, R. Ito, and R. Nakamura, “Newly built construction detection in sar images using deep learning,” Remote Sensing, vol. 11, no. 12, pp. 1–24, Jun 2019.
[33] Z. M. Hamdi, M. Brandmeier, and C. Straub, “Forest Damage Assessment Using Deep Learning on High Resolution Remote Sensing Data,” Remote Sensing, vol. 11, no. 17, SEP 1 2019.
[34] D. Peng, Y. Zhang, and H. Guan, “End-to-End Change Detection for High Resolution Satellite Images Using Improved UNet plus,” Remote Sensing, vol. 11, no. 11, JUN 1 2019.
[35] R. C. Daudt, B. L. Saux, A. Boulch, and Y. Gousseau, “Multitask learning for large-scale semantic change detection,” Computer Vision and Image Understanding, vol. 187, p. 102783, 2019.
[36] W. Zhang and X. Lu, “The Spectral-Spatial Joint Learning for Change Detection in Multispectral Imagery,” Remote Sensing, vol. 11, no. 3, FEB 1 2019.
[37] R. Liu, Z. Cheng, L. Zhang, and J. Li, “Remote sensing image change detection based on information transmission and attention mechanism,” IEEE Access, vol. 7, pp. 156 349–156 359, 2019.
[38] L. Zhang, F. Yang, Y. Daniel Zhang, and Y. J. Zhu, “Road crack detection using deep convolutional neural network,” in 2016 IEEE International Conference on Image Processing (ICIP), Sep. 2016, pp. 3708–3712.
[39] H. Zhang, M. Gong, P. Zhang, L. Su, and J. Shi, “Feature-level change detection using deep representation and feature change analysis for multispectral imagery,” IEEE Geoscience and Remote Sensing Letters, vol. 13, no. 11, pp. 1666–1670, Nov 2016.
[40] L. Su, M. Gong, P. Zhang, M. Zhang, J. Liu, and H. Yang, “Deep learning and mapping based ternary change detection for information unbalanced images,” Pattern Recognition, vol. 66, pp. 213 – 228, 2017.
[41] M. Gong, H. Yang, and P. Zhang, “Feature learning and change feature classification based on deep learning for ternary change detection in sar images,” ISPRS Journal of Photogrammetry and Remote Sensing, vol. 129, pp. 212 – 225, 2017.
[42] N. Lv, C. Chen, T. Qiu, and A. K. Sangaiah, “Deep learning and superpixel feature extraction based on contractive autoencoder for change detection in sar images,” IEEE Transactions on Industrial Informatics, vol. 14, no. 12, pp. 5530–5538, Dec 2018.
[43] M. Gong, Y. Yang, T. Zhan, X. Niu, and S. Li, “A generative discriminatory classified network for change detection in multispectral imagery,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 12, no. 1, pp. 321–333, Jan 2019.
[44] F. Huang, Y. Yu, and T. Feng, “Automatic building change image quality assessment in high resolution remote sensing based on deep learning,” Journal of Visual Communication and Image Representation, vol. 63, p. 102585, 2019.
[45] S. J. Pan and Q. Yang, “A survey on transfer learning,” IEEE Transactions on Knowledge and Data Engineering, vol. 22, no. 10, pp. 1345–1359, 2010.
[46] Z.-Q. Zhao, P. Zheng, S.-t. Xu, and X. Wu, “Object detection with deep learning: A review,” 2018.
[47] A. Abdalla, H. Cen, L. Wan, R. Rashid, H. Weng, W. Zhou, and Y. He, “Fine-tuning convolutional neural network with transfer learning for semantic segmentation of ground-level oilseed rape images in a field with high weed pressure,” Computers and Electronics in Agriculture, vol. 167, p. 105091, 2019.
[48] B. Hou, Y. Wang, and Q. Liu, “Change detection based on deep features and low rank,” IEEE Geoscience and Remote Sensing Letters, vol. PP, pp. 1–5, 11 2017.
[49] M. Yang, L. Jiao, F. Liu, B. Hou, and S. Yang, “Transferred deep learning-based change detection in remote sensing images,” IEEE Transactions on Geoscience and Remote Sensing, vol. 57, no. 9, pp. 6960–6973, Sep. 2019.
[50] Y. Gao, F. Gao, J. Dong, and S. Wang, “Transferred deep learning for sea ice change detection from syntheticaperture radar images,” IEEE Geoscience and Remote Sensing Letters, vol. 16, no. 10, pp. 1655–1659, Oct 2019.
[51] Lyu, H.; Lu, H.; Mou, L.; Li, W.; Wright, J.S.; Li, X.; Li, X.; Zhu, X.X.; Wang, J.; Yu, L.; et al. Long-Term Annual Mapping of Four Cities on Different Continents by Applying a Deep Information Learning Method to Landsat Data. Remote Sens. 2018, 10, 471.
[52] Tong, X.; Zhang, X.; Liu, M. Detection of urban sprawl using a genetic algorithm-evolved artificial neural network classification in remote sensing: A case study in Jiading and Putuo districts of Shanghai, China. Int. J. Remote Sens. 2010, 31, 1485–1504
[53] Iino, S.; Ito, R.; Doi, K.; Imaizumi, T.; Hikosaka, S. Generating high-accuracy urban distribution map for short-term change monitoring based on convolutional neural network by utilizing SAR imagery. In Earth Resources and Environmental Remote Sensing/GIS Applications VIII; Michel, U., Schulz, K., Nikolakopoulos, K.G., Civco, D., Eds.; Spie-Int Soc Optical Engineering: Bellingham, WA, USA, 2017; Volume 10428.
[54] Varghese, A.; Gubbi, J.; Ramaswamy, A.; Balamuralidhar, P. ChangeNet: A deep learning architecture for visual change detection. In Proceedings of the European Conference on Computer Vision (ECCV), Munich, Germany, 8–14 September 2018; pp. 129–145.
[55] Ji, S.; Shen, Y.; Lu, M.; Zhang, Y. Building Instance Change Detection from Large-Scale Aerial Images using Convolutional Neural Networks and Simulated Samples. Remote Sens. 2019, 11, 1343.
[56] Jiang, H.; Hu, X.; Li, K.; Zhang, J.; Gong, J.; Zhang, M. PGA-SiamNet: Pyramid Feature-Based Attention-Guided Siamese Network for Remote Sensing Orthoimagery Building Change Detection. Remote Sens. 2020, 12, 484
[57] Jaturapitpornchai, R.; Matsuoka, M.; Kanemoto, N.; Kuzuoka, S.; Ito, R.; Nakamura, R. Newly Built Construction Detection in SAR Images Using Deep Learning. Remote Sens. 2019, 11, 1444.
[58] Zhang, Z.; Vosselman, G.; Gerke, M.; Persello, C.; Tuia, D.; Yang, M.Y. Detecting Building Changes between Airborne Laser Scanning and Photogrammetric Data. Remote Sens. 2019, 11, 2417.
[59] Ghaffarian, S.; Kerle, N.; Pasolli, E.; Arsanjani, J.J. Post-Disaster Building Database Updating Using Automated Deep Learning: An Integration of Pre-Disaster OpenStreetMap and Multi-Temporal Satellite Data. Remote Sens. 2019, 11, 2427
[60] Nourani, V.; Roushangar, K.; Andalib, G. An inverse method for watershed change detection using hybrid conceptual and artificial intelligence approaches. J. Hydrol. 2018, 562, 371–384.
[61] Gao, Y.; Gao, F.; Dong, J.; Wang, S. Transferred Deep Learning for Sea Ice Change Detection from Synthetic-Aperture Radar Images. IEEE Geosci. Remote Sens. Lett. 2019, 16, 1655–1659.
[62] Lei, T.; Zhang, Y.; Lv, Z.; Li, S.; Liu, S.; Nandi, A.K. Landslide Inventory Mapping From Bitemporal Images Using Deep Convolutional Neural Networks. IEEE Geosci. Remote Sens. Lett. 2019, 16, 1–5.
[63] Fang, B.; Chen, G.; Pan, L.; Kou, R.; Wang, L. GAN-Based Siamese Framework for Landslide Inventory Mapping Using Bi-Temporal Optical Remote Sensing Images. IEEE Geosci. Remote Sens. Lett. 2020, 1–5.
[64] Chen, Z.; Zhang, Y.; Ouyang, C.; Zhang, F.; Ma, J. Automated Landslides Detection for Mountain Cities Using Multi-Temporal Remote Sensing Imagery. Sensors 2018, 18, 821.
[65] Ding, A.; Zhang, Q.; Zhou, X.; Dai, B. Automatic Recognition of Landslide Based on CNN and Texture Change Detection. In Proceedings of the 2016 31st Youth Academic Annual Conference of Chinese-Association-of-Automation (YAC), Wuhan, China, 11–13 November 2016; pp. 444–448.
[66] Fujita, A.; Sakurada, K.; Imaizumi, T.; Ito, R.; Hikosaka, S.; Nakamura, R. Damage detection from aerial images via convolutional neural networks. In Proceedings of the 2017 Fifteenth IAPR International Conference on Machine Vision Applications (MVA), Nagoya Univ, Nagoya, Japan, 08–12 May 2017; pp. 5–8.
[67] Sakurada, K.; Okatani, T. Change detection from a street image pair using CNN features and superpixel segmentation. In Proceedings of the British Machine Vision Conference (BMVC), Swansea, UK, 7–10 September 2015; pp. 61.1–61.12.
[68] Sublime, J.; Kalinicheva, E. Automatic Post-Disaster Damage Mapping Using Deep-Learning Techniques for Change Detection: Case Study of the Tohoku Tsunami. Remote Sens. 2019, 11, 1123
[69] Singh, A.; Singh, K.K.; Nigam, M.J.; Pal, K. Detection of tsunami-induced changes using generalized improved fuzzy radial basis function neural network. Nat. Hazards 2015, 77, 367–381.
[70] Sakurada, K.; Tetsuka, D.; Okatani, T. Temporal city modeling using street level imagery. Comput. Vis. Image Underst. 2017, 157, 55–71.
[71] Peng, B.; Meng, Z.; Huang, Q.; Wang, C. Patch Similarity Convolutional Neural Network for Urban Flood Extent Mapping Using Bi-Temporal Satellite Multispectral Imagery. Remote Sens. 2019, 11, 2492.
[72] Planinšiˇc, P.; Gleich, D. Temporal Change Detection in SAR Images Using Log Cumulants and Stacked Autoencoder. IEEE Geosci. Remote Sens. Lett. 2018, 15, 297–301.
[73] Ji, M.; Liu, L.; Du, R.; Buchroithner, M.F. A Comparative Study of Texture and Convolutional Neural Network Features for Detecting Collapsed Buildings After Earthquakes Using Pre- and Post-Event Satellite Imagery. Remote Sens. 2019, 11, 1202.
[74] .Saha, S.; Bovolo, F.; Bruzzone, L. Destroyed-buildings detection from VHR SAR images using deep features. In Image and Signal Processing for Remote Sensing aXxiv; Bruzzone, L., Bovolo, F., Eds.; Spie-Int Soc Optical Engineering: Bellingham, WA, USA, 2018; Volume 10789.
[75] Kerner, H.R.; Wagstaff, K.L.; Bue, B.D.; Gray, P.C.; Bell, J.F.; Ben Amor, H.; Iii, J.F.B. Toward Generalized Change Detection on Planetary Surfaces with Convolutional Autoencoders and Transfer Learning. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 2019, 12, 3900–3918.