遥感变化检测综述 Change Detection Based on Artificial Intelligence:State-of-the-Art and Change

遥感变化检测综述

Change Detection Based on Artificial Intelligence:State-of-the-Art and Change
现存的变化检测综述主要专注于在多时态高光谱图像（HSIs）和高空间分辨率图像。并且大致可总结为以下几种传统技术：
1.Visual analysis
变化图通过人工解译获得，基于专家知识可提供高度可靠的结果，但费时费力
2.Algebra-based methods
变化图通过在大量多时态数据上进行代数操作或转换获得，例如：图像差异化、图像回归、图像旋转和变化向量分析（CVA）
3.Transformation
数据缩减的方法，比如主成分分析、流苏帽Tasseled Cap(KT)、多变量变化检测（MAD）、Gramm-Schmidt(GS)和Chi-Square都用于抑制相关信息并突出多时态数据中的方差
4.Classification-based methods
通过比较多个分类图来识别变化，或者用一个训练好的分类器直接对多时段数据进行分类
5.Advanced models
先进模型，比如Li-Strahler reflectance模型，光谱混合模型和生物物理参数法都用于将多周期数据的光谱反射率值转换为基于物理的参数或分数进行变化分析，这样更直观，具有物理意义
6.其他
混合方法或者其他，比如基于知识，基于空间统计的和整合GIS和RS的方法

根据检测单元的大小，这些方法可以分为基于像素级，基于特征级，基于目标级和三维目标级。

在变化检测的传统方法和基于AI的方法中，第一步都是数据获取并且变化检测的目的是获得大量应用的变化检测图；在准备数据之后，传统的方法一般包括两个步骤，同质化处理和一个变化检测处理，然而基于AI的方法一般要求一个额外的训练集生成过程和一个对于变化检测的模型训练过程。

基于AI的变化检测

1.同质化处理
为什么要进行同质化处理？
采集时光照和大气条件、季节、传感器姿态存在的差异
几何校正和辐射校正是两种常用的方法
前者旨在几何对齐两个或多个给定数据段，这可以通过注册或联合注册实现。给定两个周期的数据，只有当它们重叠时，对应位置之间的比较才有意义。后者旨在消除传感器数字化过程中产生的辐射或反射率差异，以及大气中吸收和散射引起的大气衰减失真，这有助于减少变化检测中这些辐射误差引起的假警报。对于异构数据，可以设计一种特殊的AI模型结构进行特征空间转换，实现变化检测。
2.训练集生成
这一步就是数据增强操作
3.模型训练
4.模型保存

变化检测的数据源

在这篇论文里，用于变化检测的数据可分为光学遥感图像，SAR图像和街景图像，值得注意的是街景图像一般不用于遥感数据而是用作辅助数据。
本文将街景图像作为一种广义的遥感数据来处理，并对其进行了评述，因为街景图像可以提供街道级的观测数据
光学遥感图像，SAR图像分别由被动和主动传感器采集，覆盖不同的电磁光谱范围。其他数据源，如数字高程模型（DEM）、地理信息系统（GIS）数据和点云数据，可以提供有价值的补充属性。

基于AI的变化检测框架

1.Single-stream Framework

Single-stream Framework里面有两种结构：
1.direct classification structure 2.mappinpg transformation-based structure

1.direct classification structure
直接分类方法使用各种数据处理方法将两个或多个周期的数据融合为中间数据，然后使用单个基于AI的分类器执行特征学习，并实现融合数据的两个或多个分类。也就是说，如图5a所示，该结构将变更检测任务转换为分类任务，在一些文献中也称为双通道结构。它的两个关键研究问题是数据融合方法的选择和基于AI的分类器。
为了从多周期数据中获取融合数据，两种最常用的方法是使用变化分析方法和直接级联。变化分析方法，如CVA、对数比率算子差分或变化度量，能够在多期数据中直接提供变化强度信息（即差异数据），这可以突出显示变化信息并促进变化检测。直接拼接方法可以保留多周期数据的所有信息，因此后续分类器提取变化信息。通常，一维输入数据直接连接，而二维数据通过通道连接。此外，原始数据和差异数据的融合是另一个很好的策略，它可以保留所有信息，同时突出差异信息

2.mapping transformation-based structure
基于映射转换的框架结构通常用于检测不同域或异构数据中的更改。其主要思想是使用AI方法学习特征映射转换，并使用它对一种数据执行特征转换，如图5b所示。转换后的特征对应于另一种数据的特征。简而言之，它将数据从一个要素空间转换到另一个要素空间。最后，通过对两类数据的相应特征进行决策分析，得到变化图。在Change detection based on deep feature representation and mapping transformation for multi-spatial-resolution remote sensing images 中，设计了一个映射神经网络（MNN）来学习多空间分辨率数据之间的映射函数，然后进行特征相似性分析来构建变化图。该方法还实现了SAR图像与光学图像之间的变化检测。在A new fuzzy measurement approach for automatic change detection using remotely sensed images中，作者使用ANN实现相对辐射归一化，然后检测相同辐射条件下两个周期数据的变化。此外，利用这种映射变换的思想，提出了几种改进的结构，用于检测异构数据或不同域数据中的变化.。

2.Double-stream Framework

双流结构包含三种:（a）the Siamese structure (连体结构)(b) the transfer-learning-based structure （基于迁移学习的结构） ( c ) the post-classification structure（后分类结构）

1.连体结构
如图（a）所示，连体结构的两个子网络都包含特征提取器，完成特征提取后，通过变化分析（即决策者）结合后生成变化图。这样做的优点是它的两个子网络同时被直接训练以学习输入的两个周期数据的深层特征。
根据子网络的权重是否共享，可将其分为纯连体结构和伪连体结构。主要区别在于前一个子网络通过共享权值来提取两个周期数据的共同特征。后一个子网络分别提取特征对应的输入数据，从而增加了可训练参数的数量和复杂性，但也增加了其灵活性。
虽然这种结构使特征抽取器能够通过有监督的带标记样本的训练直接学习深层特征，但无监督训练更具挑战性。一种常见的解决方案是*以无监督的方式单独培训特征提取器。这些预先训练的特征提取器为进一步的变化检测提供原始数据（即特征图）的潜在表示。为了生成变化图，两个时段的输出特征图可以通过通道串联直接分类，或者可以使用特定距离度量生成差异图，然后用于进一步的变化分析。*为了保留多尺度的变化信息，可以将不同深度的特征地图连接起来进行变化检测，这很有效。

2.基于迁移学习的结构
迁移学习能够解决训练样本不足的问题。如图（b）所示我们将预训练好的AI模型用于特征提取，用于生成两个时间的特征图，这里两个时间的特征提取器，我们可以选择相同或者不同的。预训练模型能否正确提取输入数据的深层特征映射或潜在特征表示，决定了变化检测任务的性能。

基于迁移学习的结构通常有两个训练阶段，即深度特征学习阶段和微调阶段。在深度特征学习阶段，人工智能模型通常受到监督，在其他领域数据中使用足够的标记样本进行预训练。微调阶段是可选的，在此阶段，微调或额外分类器训练只需要少量标记样本。因此，经过训练的分类器可以直接得到变化图。在不进行微调的情况下，可以使用变化分析（如低秩分析、CVA、聚类和阈值）基于两个时期的特征图获得最终变化图。这意味着不需要更多的标记样本进行进一步培训。此外，基于迁移学习的思想，预训练的AI模型还可以用于生成训练样本或掩码，以实现无监督方案，这是一种非常实用的策略。

3.后分类结构
如图6c所示，后分类结构由两个分类器组成，通常可以将其转换为分类任务，并以联合或独立的方式进行培训。它为每个时期的数据提供了一个分类图，通过比较分类图可以得到具有变化方向的变化图。然而，这些方法的变化检测结果的准确性取决于分类器的性能。

Multi-Model Integrated Structure (多模型集成结构)

多模型集成框架是一种混合结构，类似于双流结构，但它包含更多类型的人工智能模型，并且可以分多个阶段进行训练。
变化检测是一种时空分析，可以通过将基于AI的特征提取器作为光谱空间模块来获取空间-光谱特征，然后将基于AI的分类器作为时间模块来建模时间相关性。
此外，这种混合结构巧妙地用于无监督变化检测和对象级别变化检测。这使得整个更改检测过程更加复杂，同时提高了性能。

变化检测框架中的无监督方案

基于人工智能的变化检测框架通常包括特征提取器或分类器，这需要有监督和无监督的训练。由于获取大量标记样本进行监督训练通常耗时且劳动密集，因此人们已经做出了许多努力，以无监督或半监督的方式实现基于人工智能的变化检测。最常用的无监督方案是使用变化分析方法和样本选择策略来选择绝对变化或/和不变作为AI模型的训练样本。其流程图如图8a所示。
最常用的无监督方案是使用变化分析方法和样本选择策略来选择绝对变化或/和不变作为AI模型的训练样本。其流程图如图8a所示。

可以看出，在该方案中有两个变化检测阶段。第一阶段，预分类通常很简单，但值得研究，其中大多数是无监督方法，可通过差异分析和聚类实现，如K-均值、模糊c-均值（FCM）、空间FCM或层次FCM。在某些作品中，这一阶段是通过阈值分析、显著性分析或精心设计的规则来实现的。在获得高置信度的变化或/和不变样本后，AI模型可以在监督的方式下进行训练，以便在第二阶段进行变化检测。此外，另一种常用的无监督方案基于潜在变化图，如图8b所示。除了通过转移学习获得的预训练模型外，它还可以由无监督AI模型（例如AEs）生成，然后使用聚类算法生成最终的变化图。

尽管无监督的变化检测不需要标记的训练样本，但由于缺乏先验知识，有时不适合涉及语义信息的变化检测。弱监督和半监督方案使用不准确或不充分的标记样本作为先验知识来解决这个问题，这可以通过标签聚合、迭代学习、深度生成模型、样本生成策略或新的成本函数来实现

Mainstream Networks in AI

1.Autoencoder

2.Deep Belief Network

3.Convolutional Neural Network

4.Recurrent Neural Network

5.Purse Couple Neural Network

6.Generative Adversarial Networks

7.Other Artificial Neural Networks and AI Methods

人工智能中有许多类型的人工神经网络，上面描述了用于变化检测的主流网络结构。此外，其他网络，如Hopfield网络、反向传播网络、多层感知器（MLP）、极限学习机和自组织映射（SOM）网络，不需要像深度神经网络那样需要大量的训练样本来学习高层抽象特征，但由于其网络结构浅、样本量要求低、训练过程简单，因此也被广泛应用于变化检测任务中，并能获得满意的结果。由于它们可以被视为传统的机器学习技术，由于篇幅限制和现有评论，我们在此不作更详细的评论。除了人工智能中的神经网络，还有其他人工智能技术用于实现变化检测。最近，字典学习被采用，它的重点是从数据集中学习内部特征表示，就像AEs一样。细胞自动机（CA）是一种受细胞行为启发的时空离散模型，有助于模拟LULC的未来变化，并预测城市空间扩展。这些人工智能技术的发展极大地促进了变化检测的研究，这有助于开发更自动化、智能化和精确的方法，以满足各种应用的需要。

Application

基于AI的变化检测面临的机遇和挑战

要获取from-to变化图，后分类结构是最佳选择。如果训练样本不足，基于迁移学习的结构可以帮助缓解这一问题，而AEs和GANs的使用也可以减少对地面真相的依赖。基于长期序列数据的变化检测通常使用多模型集成结构和RNN模型来实现。CNN具有很强的特征提取能力，在有足够训练样本的情况下是最佳选择。基于AI的变化检测的各种应用表明，AI技术在RS社区的变化检测领域取得了巨大的成功。然而，在这些过程中有许多挑战，它们与以下方面有关：
（1）随着各种平台和传感器的发展，它们带来了诸如高维数据集（高空间分辨率和高光谱特征）、复杂数据结构（非线性和重叠分布）和非线性优化问题（高计算复杂性）等重大挑战。多源数据的复杂性极大地增加了利用人工智能技术从训练数据中学习鲁棒性和区分性表示的难度。这可以看作是异构大数据处理的挑战；
（2）受监督的人工智能方法需要大量的训练样本，这些样本通常是通过耗时且劳动密集的过程获得的，如人工解释遥感产品和遥感。在训练样本不足的情况下，实现基于人工智能方法的鲁棒模型是一个巨大的挑战。需要开发无监督的人工智能技术
（3）目前，研究人员不断提出新的基于人工智能的变化检测方法。然而，选择一个有效的方法并确保其在不同应用中的准确性也是一个巨大的挑战。在实际应用中需要考虑人工智能的可靠性。

这些挑战的一些解决办法如下：

1.异构大数据处理

异构性是大数据和异构数据的主要特征之一，导致在生成和分析变更检测结果时出现问题。从数据源的角度来看，遥感技术可以为变化检测提供各种数据类型，如SAR、GIS数据、高分辨率卫星图像以及各种时空测量数据。由于缺少值、高数据冗余和不真实性，这些数据类型和格式具有高度可变性的数据很难使用。此外，现有人工智能方法在遥感数据处理中的泛化能力有待提高，特别是在异构大数据处理中。因此，我们认为，以下几个方面需要进一步研究。
（1）基于异构数据的一些基于人工智能的变化检测方法已经取得了令人满意的结果。这些研究的传感器类型和数据量相对有限。此外，它们主要考虑不同源数据之间的变化检测，而不是在同一时期发现数据融合。在同一时期充分利用多源数据（如光学遥感图像和数字高程模型）和数据融合理论（即各种类型数据的相互补偿），结合人工智能技术，将有助于充分提高变化检测的准确性。
（2）由于目前的变化检测方法主要依赖于二维信息的检测，随着三维重建技术的发展，利用三维数据检测建筑物的变化等，也是未来的发展方向。在这些技术中，基于倾斜图像或激光点云数据的三维重建以及基于航空图像和地面街景图像的三维信息集成（即空-地集成）是研究的热点。目前还没有有效的人工智能技术来实现三维变化检测。
（3）遥感大数据的处理需要大量的计算资源，限制了人工智能模型的实施。例如，大格式数据的处理通常需要分块处理，这很容易导致边缘问题。大量数据意味着人工智能模型中需要大量可训练参数，导致训练过程困难，并消耗大量计算资源。因此，有必要平衡数据量和可训练参数的数量。它们对基于人工智能的变化检测方法的设计提出了挑战。

2.无监督AI

尽管领域知识可用于帮助传统机器学习方法中的表示设计，但对人工智能的追求推动了更强大的无监督表示学习算法的设计。这是因为无监督人工智能具有直接从数据本身学习层次结构特征的能力，并可用于做出数据驱动的决策。无监督人工智能的研究可以从以下几个方面考虑：
（1）由于在过去几年中缺乏用于训练有效人工智能模型的标记样本，许多研究人员对这些问题付出了巨大的努力，并始终取得了令人印象深刻的结果。新的无监督人工智能技术不断涌现，包括GAN、转移学习和AEs，虽然这些技术在一定程度上缓解了样本的不足，但仍有改进的余地。
（2）变化检测通常被认为是一个低可能性问题（即变化图中的变化远大于变化），具有变化位置和方向的不确定性。由于缺乏先验知识，目前的无监督人工智能技术不容易解决这个问题。排除监督人工智能，弱监督和半监督人工智能技术是可行的解决方案，但需要进一步研究以提高性能。然而，用于变化检测的纯无监督人工智能技术应该是最终目标。
（3）研究无监督人工智能技术的原因之一是缺乏训练样本，即先验知识。考虑到互联网已经进入网络2.0时代（强调用户生成的内容、易用性、参与性文化和最终用户的互操作性），使用群组源数据作为先验知识是一个很好的替代解决方案。例如，OpenStreetMap，一个免费的wiki世界地图，可以提供大量由志愿者标记的注释数据，用于人工智能模型的培训。虽然一些众包数据的标注精度不高，但人工智能模型也可以通过弱监督的方式进行训练来实现变化检测。

人工智能的可靠性

尽管许多使用人工智能的变化检测框架呈现了模型结构，但它们的可训练参数是不透明的，如黑匣子，这使得很难确定它们为什么做这些事情或如何工作。人工智能的可靠性旨在开发有助于提高变化检测方法可靠性和可解释性的技术。因此，有必要开发用于变化检测的健壮人工智能和可解释人工智能。我们仅从以下几个方面讨论可用于提高变更检测结果可靠性的策略：
（1）策略1：减少数据源引起的误差，例如使用预处理（例如，光谱和辐射校正）来减少几何误差和光谱差异引起的数据不确定性，或者融合多个数据以提高原始数据的可靠性，从而提高了变化检测结果的可靠性。迄今为止，已有一些研究考虑了配准和算法融合的影响。
（2）策略2：通过子模块模型结构提高AI模型的可解释性，通过理解每个子模块的功能，有助于理解整个AI模型的工作原理。例如，R-CNN中的区域建议组件可以清楚地理解为预测对象区域的生成器。
（3）策略3：通过集成多种算法和结果，提高AI模型的鲁棒性。集成学习是一个很好的解决方案，它可以通过使用多个模型的结果来提高最终结果的准确性。
（4）策略4：通过集成后处理算法，如马尔可夫随机场、条件随机场[246]和水平集演化，提高AI模型结果的实用性，这有助于去除噪声点并提供准确的边界。这对于某些制图应用至关重要；
（5）策略5：通过精练的探测单位提高变化地图的精细度。根据变化检测的检测单元，从粗到细可分为场景级、面片或超像素级、像素级和亚像素级。从可靠性方面来看，亚像素级是遥感器的最佳选择，因为它缓解了遥感图像中混合像素的问题。然而，这很容易导致高计算复杂度。因此，根据不同的土地覆盖类型使用不同的检测单元是最佳解决方案，这需要设计良好的AI模型；
（6）策略6：通过检测每个实例中的变化来改进变化图的表示。变化映射可以分为二进制映射、单类映射、from-to映射和实例映射。实例变更图更实用，但仍然缺乏研究。它可以为每个实例提供更改信息，并且更能反映真实世界的更改。此外，它还可以避免没有语义信息的二元映射的限制和分类系统对自-到映射的限制，从而提高最终结果的可靠性。