用于跨域变化检测的端到端监督域适应框架

An End-to-end Supervised Domain Adaptation Framework for CrossDomain Change Detection

文献

代码

摘要：

变化检测是遥感图像分析中一项至关重要但极具挑战性的任务，随着深度学习的快速发展，已经取得了很大进展。然而，现有的大多数基于深度学习的变化检测方法都试图精心设计具有强大特征表示的复杂神经网络，却忽略了由时变土地覆盖变化引起的普遍域偏移，包括事件前后的亮度波动和季节变化图像，从而产生次优结果。在本文中，我们提出了一种用于跨域变化检测的端到端监督域自适应框架，即 SDACD，以有效缓解双时相图像之间的域偏移，以实现更好的变化预测。具体来说，我们的 SDACD 通过监督学习从图像和特征角度呈现协作适应。图像适应利用具有循环一致性约束的生成对抗学习来执行跨域样式转换，以双边生成方式有效地缩小域差距。在特征适应方面，我们提取域不变特征来对齐特征空间中的不同特征分布，这可以进一步减少跨域图像的域间隙。为了进一步提高性能，我们结合了三种类型的双时图像进行最终变化预测，包括初始输入双时图像和来自事件前和事件后域的两个生成的双时图像。对两个基准的广泛实验和分析证明了我们提出的框架的有效性和普遍性。值得注意的是，我们的框架将几个具有代表性的基线模型推向了新的 StateOf-The-Art 记录，在 CDD 和 WHU 构建数据集上分别达到了 97.34% 和 92.36%。源代码和模型可在 https://github.com/Perfect-You/SDCD 公开获得。

关键词：变化检测，监督域适应，图像适应，特征适应。

1 Introduction

      变化检测（CD）旨在识别同一地理区域的双时相图像之间的地理元素的显着差异，以注册的双时相图像作为输入，输出逐像素的变化图。这一基础但重要的遥感任务由于其在城市化监测[1]、资源环境监测[2]、灾害评估[3]等方面的广泛应用，逐渐成为计算机视觉界的一个活跃话题。许多优秀的方法已经由于高分辨率遥感图像的轻松获取和深度学习的成功，最近被提出。然而，由于地理元素在不同时期的复杂性和异质性，这项任务中的许多问题仍然是开放和具有挑战性的。

      在过去的几十年中，已经提出了多种传统的变化检测方法，可以分为四类：

1）基于代数的方法：直接对注册的双时态图像进行通道代数运算，包括图像差分、图像回归，变化向量分析[4]等。但是找到一个合适的阈值来区分变化的像素和不变的像素是依赖于场景和耗时的。

2）基于变换的方法：旨在将双时相图像投射到特定的特征空间中，能够缩小未变化区域的像素差异并突出显示变化的信息。然而，像 [5]-[7] 这样的方法由于依赖于经验设计的特征而难以处理高分辨率图像。

3）基于分类的方法[8][9]：通过比较双时相图像之间地理元素的预生成土地覆盖标签来识别变化区域。然而，预生成标签的分类误差会累积到最终的变化图上，不可避免地会降低变化预测的准确性。

4）基于机器学习的方法：采用经典的传统机器学习算法，如随机森林回归[10]、支持向量机[11]和决策树[12]来判别指定区域是否发生了变化。尽管这些传统方法中的大多数都简单且可解释，但它们在实际意义上表现出较差的鲁棒性，因为它们的性能可以容忍噪声并受到手工特征的限制。

最近，受益于深度学习的快速发展，许多基于深度学习的变化检测方法被提出，并且由于自动高级特征提取的强大能力，它们表现出优于传统方法的性能和鲁棒性。基于深度学习的方法通常首先使用类似于孪生网络的卷积神经网络从双时相图像中提取判别特征，然后利用全卷积网络或基于度量的模块来预测最终的变化结果[13]-[24]。理论上，为了准确预测特征空间的变化结果，从双时相图像中提取的特征应满足以下约束条件：与变化像素对相关联的特征向量彼此相距较远，而不变像素对则较近。然而，这个假设在现实中很难满足。由于双时相图像通常是在不同时间获取的，其成像传感器、大气和亮度条件会有所不同，这不可避免地导致双时相图像无论地理元素是否发生变化都会出现完全不同的外观。如图1所示，季节和气候带来的时变变化比人为因素引起的真实变化更明显，例如建筑物和道路的建造或破坏。这些伪变化使得现有的基于深度学习的方法难以从双时态图像中提取满足上述约束的特征，这些方法通常侧重于设计具有强大特征表示的复杂神经网络，而忽略双时态图像之间的域偏移。图片。

在本文中，我们提出了一种用于跨域变化检测的监督域适应框架，即 SDACD，以有效缓解事前和事后图像之间严重的域偏移。我们提出的 SDACD 从图像和特征的角度提出了协同适应，包括两个关键模块：图像适应（IA）模块和特征适应（FA）模块。图像适应模块通过图像到图像的转换对齐双时间域之间的图像外观来解决域偏移。具体来说，我们通过使用具有循环一致性约束的双向生成对抗网络将事件前图像和事件后图像的外观相互转换，即将事件前图像转换为事件后图像的外观，而后事件图像到事件前图像。之后，我们使用来自事前域和事后域的两种双时域图像以及原始双时域图像来训练特征适应模块中的变化检测模型，其中我们将特征适应集成到框架以进一步缩小剩余的域转移。具体来说，我们首先输入三个双时间图像，即事件前和事件后图像，事件前和事件后风格化为事件前图像，事件后和事件前风格化为事件后图像图像，进入特征适应模块，并预测每对双时图像的变化图。然后我们设计了一个特征域不变鉴别器，它连接变化预测和双时图像，以区分从哪个双时图像生成的预测。如果该判别器无法区分，则意味着用于预测变化图的提取特征是域不变的。最后，为了充分利用来自不同域的图像信息，我们通过融合来自不同双时态图像的上述三个特征来进行最终的变化预测。我们提出的框架以端到端的可训练方式结合了图像和特征适应过程，这可以使它们相互受益并获得更好的性能。据我们所知，这是第一个这项工作通过监督学习充分研究域适应以进行变化检测，并提供一种简单有效的解决方案，可以轻松插入任何非域适应模型以进一步提高其性能。我们提出的框架的架构如图 2 所示。

 

我们分别基于三个代表性基线模型 STANet [14]、DASNet [15] 和 SNUNet [16] 实现了 SDACD 框架，并验证了我们的框架在 CDD [25] 和 WHU 构建数据集 [26] 上的有效性和普遍性]。我们的框架显示了所有三个基线模型的一致改进。对于 CDD 数据集，基于 STANet、DASNet 和 SNUNet 的框架的 F1-score 分别提高了 0.70%、0.78% 和 1.66%，而对于 WHU 构建数据集，它分别提高了 8.81%、2.59% 和 6.85% .此外，结合尖端的 SNUNet，我们的框架在两个数据集上都实现了最先进的性能。可视化结果还证明了我们的框架在处理严重域变化下的双时间变化检测方面的优越性，如第 4 节所示。

我们的贡献可以概括为三个方面：

我们提出了一种用于跨域变化检测的新型监督域适应框架 SDACD，它以端到端可训练的方式统一图像适应和特征适应，以减轻事前和事后图像之间的域转移；

我们的框架兼容现有的不考虑域变化的变化检测网络，它可以处理跨域变化检测，并作为一个易于插件的模块不断提高性能；

两个基准数据集的实验结果证明了我们的 SDACD 的有效性和普遍性。最重要的是，我们基于 SNUNet 的框架设置了新的最先进的性能，在 CDD 数据集上的 F1 分数为 97.34%，在 WHU 构建数据集上为 92.36%。

本文的其余部分安排如下。在第 2 节中，我们简要回顾了变化检测和领域适应的相关工作。在第 3 节中，我们在分析每个模块之前介绍了我们提出的框架。第 4 节报告并讨论了实验结果。最后，我们在第 5 节中得出结论。

2 Related Works

2.1 变化检测

近年来，由于深度神经网络强大的特征提取能力，许多基于深度学习的变化检测方法被提出，可分为两大类，即基于补丁的方法和基于图像的方法。 

基于补丁的方法[27]-[30]将补丁视为变化检测的最小处理单元。这些方法首先将双时间图像分割成块，然后区分每个块是否发生了变化。张等人。 [27]采用深度置信网络将多光谱图像块转换为指定的特征空间并消除噪声以进行变化检测。为了促进光谱时空表示的利用，Mou 等人。 [28] 设计了一个 ReCNN，它将 CNN 与 RNN 相结合，以探索双时间图像块之间的光谱空间表示和时间依赖性。尽管基于补丁的方法与传统方法相比取得了显着进步，但它们存在内存消耗高和计算效率低的问题。此外，补丁大小限制了感受野，因此这些方法无法利用全局信息，这也极大地限制了它们的性能。

基于图像的方法 [14]-[24]、[31]-[33] 直接利用整个图像进行逐像素预测，计算效率高且性能良好。 FC-EF、FC-Siam-conc 和 FC-Siam-diff [17] 是一些早期的基于图像的方法。这些方法采用 UNet [34] 作为特征提取器的骨干网络，并探索了三种不同的特征融合策略，与基于补丁的方法相比，极大地提高了性能和处理速度。后来，陈等人。 [14]提出了一个有影响力的STANet，它在siamese网络中设计了一个时空自注意力模块来探索双时图像之间的时空依赖关系。最近，Fang 等人。 [16] 提出了一个密集连接的 SNUNet，并在 CDD 数据集上实现了 SOTA。 SNUNet 采用连体 UNet++ [35] 架构作为特征提取器，并利用集成通道注意模块来聚合多级特征以增强判别性特征表示。

然而，尽管上述方法通过强大的特征提取器和精心设计的结构取得了令人鼓舞的结果，但很少有方法考虑到由不同季节、各种成像条件等引起的双时相图像之间的普遍域偏移，从而产生次优结果。 DLSF [36] 和 PDA [37] 是最近具有代表性的跨域变化检测方法，它们采用具有复杂约束的 GAN [38] 来保留语义信息并弥合双时图像之间的风格差距。我们的方法在两个方面不同于 DLSF 和 PDA。首先，这两种方法仅采用具有复杂约束的图像自适应，但我们从图像和特征的角度缓解了域偏移，并验证了每个组件的有效性。其次，它们专为基于度量的预测器而设计，而我们的 SDACD 与大多数现有的基于深度学习的方法兼容。

2.2 领域适配

 领域适应旨在通过在领域之间转移知识来解决领域转移引起的性能下降，这有利于模型的泛化。给定源域和目标域，现有的大多数方法都考虑无监督或半监督的情况，其中目标域中没有或只有有限的标签可用。据我们所知，领域适应主要集中在两个方面，即图像适应和特征适应。

图像适应试图最小化不同模态或样式的图像的外观差异。一个直观的想法是通过生成模型将图像从一种风格转换为另一种风格。著名的 CycleGAN [39] 首次在 GAN 中采用了具有循环一致性约束的双向生成，并实现了理想的不成对图像到图像转换，为图像自适应提供了参考范式。之后，许多作品应用 CycleGAN 的思想通过图像到图像的转换来处理域转移。例如，CyCADA [40] 首先采用循环一致的 GAN 将源域图像转换为目标域，然后使用目标域中的合成数据训练模型。相反，宋等人。 [41] 将目标域图像转换为源域，然后使用源域模型生成伪标签，最后利用它们对源域模型进行微调。

特征自适应通过利用对抗训练获得的域不变特征来对齐源域和目标域之间的特征分布。 DANN [42] 是最早的通用框架，它采用对抗训练来学习域不变特征以进行域适应。为了进一步提高域不变特征的辨别能力，Tzeng 等人。 [43] 将判别模型与非绑定权重共享策略相结合。此外，王等人。 [44] 考虑了每个域中特征的可迁移性，并提出了一个精心设计的注意模块来选择合适的表示进行特征适应。

如上所述，大多数现有的域适应方法都是为无监督或半监督场景设计的，而我们将跨域变化检测视为有监督的域适应问题，其中对具有严重域偏移的双时态图像有监督注释。尽管当前的方法为弥合域差距提供了有价值的解决方案，但它们在跨域变化检测中会受到未充分利用或图像信息丢失的影响。我们的工作与 SIFA [45] 密切相关，SIFA [45] 还结合了图像适应和特征适应来进行域适应。然而，SIFA 旨在恢复将分割模型从 MR 图像转移到 CT 图像时的性能下降。我们强调，我们的工作重点是通过在监督设置下减轻双时间图像之间的域偏移来提高变化检测的性能。我们工作的主要贡献是提供了一个通用的变化检测框架，它可以通过采用领域适应的思想来提高现有变化检测方法的性能。

3 Methodology

在本节中，我们首先介绍我们提出的框架的概述架构，然后说明两个主要模块的细节：图像适应模块和特征适应模块。最后，我们定义了框架的完整损失函数。

3.1 整体架构

 为了缩小领域差距，我们设计了一个图像适应（IA）模块和一个特征适应（FA）模块，从不同的角度实现领域适应。因此，管道可以分为两个主要阶段。首先，我们将事件前图像㼿㼿㼿㼿转换为事件后域㼿㼿㼿，以获得事件前图像风格化的事件后图像

我们通过特征域不变判别器对齐特征空间中的特征分布，进一步减少 10 个域间隙。最后，为了充分利用来自不同域的图像信息，我们通过融合从上述三个双时态图像中提取的对齐特征来预测最终的变化图㼿。 IA 和 FA 模块的更多细节将在以下部分中展示。

3.2 用于外观对齐的图像适配模块 IA

由于双时图像通常是在不同的成像条件下捕获的，因此我们专门设计了一个图像自适应 (IA) 模块，以最大限度地减少双时图像之间的外观变化，同时保持具有地理语义的原始内容不受影响。 IA 模块的目标是学习给定训练样本（，）两个域之间的映射函数a和a。