2022TGRS/云检测：用于遥感图像云检测的无监督域不变特征学习Unsupervised Domain-Invariant Feature Learning for Cloud Detection

用于遥感图像云检测的无监督域不变特征学习)

0.摘要

遥感图像中云的检测是一项重要的任务，卷积神经网络(CNNs)已被用来进行检测。然而，有监督的云检测CNNs很大程度上依赖于大量在像素级标注的样本来调整其参数。对RS图像进行标注是一个劳动密集型的过程，需要专家级别的人类知识。为了降低标记成本，我们提出了一种无监督域适应(UDA)方法，使在标记源卫星图像上训练的模型可以推广到未标记的目标卫星图像。具体而言，我们提出了一种细粒度特征对齐(FGFA)域适应策略，鼓励云检测网络提取域不变表示，这提高了云检测在未标记目标卫星图像中的准确性。该策略由两个步骤组成:1)基于注意引导机制的细粒度类相关特征选择和2)基于分组类相关特征对齐方法的类相关特征对齐(FA)。在“Landsat-8→ZY-3”和“GF-1→ZY-3”域适应任务上的实验结果证明了该方法的有效性，并优于现有的最先进的UDA方法。

1.概述

在过去十年中，云检测引起了越来越多的关注。特别是，主要地球观测项目（如美国宇航局的陆地卫星和欧洲航天局的哨兵）采用开放数据政策，促进了各种云检测算法的发展[1]。深度学习[2]的发展促进了图像处理任务的重大突破，如语义分割[3]、图像分类[4]、图像恢复[5]和目标检测[6]。
近年来，先进的卷积神经网络(CNN)模型被提出用于多光谱卫星图像的云检测。这些网络包括经典的超像素分类[7]、[8]，典型的端到端基于cnn的框架[1]、[9]，以及多尺度/级特征融合网络[10]、[11]。然而，这种网络严重依赖大量像素级标注的样本来进行参数调优，样本采集繁琐、耗时、昂贵的[12]。在我们之前的ZY-3缩略图云检测工作[10]，[13]中，我们也开发了监督式CNN框架，并解决了遥感图像标签的棘手问题。在我们数据集的标签组中有10个人。具体来说，在贴标签之前，小组成员会接受中国陆地卫星遥感应用中心(LSRSAC)专家的培训。对于每一张图片，我们通过图像编辑软件，如Adobe Photoshop，来获取像素级的注释。每一张被标记的图片都由另外两个小组成员反复检查。此外，LSRSAC的专家还对标签不一致的疑难案例进行了进一步的检查和细化。它通常需要1-2个小时的标签像素标注从云覆盖缩略图。因此，无监督学习方法被高度要求减少人工标记数据集的工作量。
目前，已有可用的云覆盖评估数据集，如Landsat-8云覆盖评估验证数据集[14]和GF-1 WFV云和云阴影覆盖验证数据集[15]。然而，由于潜在的非常不同的领域特征，在这些现有数据集上训练的基于cnn的方法很难直接用于分析目标卫星图像。由于辐射分辨率、空间分辨率、传感器的光谱范围以及云的形状和土地覆盖类型的高动态，这个问题被称为域移位问题[16]。例如，在图1中，我们展示了不同传感器获取的卫星图像纹理图。，不同卫星传感器获取的RS图像中云的纹理风格差异较大。虽然在几乎所有的卫星图像中，云区都以明亮和白色(饱和)为主，但这些不同传感器获得的云区之间存在较大的区域分布差距。因此，为了充分利用现有数据集，迫切需要一种有效的领域对齐方法来减少不同数据集之间的领域差异。
解决域转移问题的一种有效方法是利用域适应策略强制特征提取器生成域不变特征[16]，[17]。随着生成式对抗网络(GAN)的发展，基于对抗学习的无监督域适应(UDA)图像分割方法，如对抗判别域适应(ADDA)方法[18]、循环一致对抗域适应(CyCADA)方法[19]和对抗熵最小化(AdvEnt)方法[20]受到了广泛关注。然而，大多数基于udd的语义分割方法都是针对自然街景图像开发的，比如使用普通相机获取的Cityscapes Dataset[21]中的图像。光学卫星遥感图像与自然街景图像有很大的不同。如前所述，在跨卫星图像云检测任务中，不同卫星传感器获取的图像存在光谱和分辨率差异，导致较大的域差异，难以将源训练模型推广到目标数据集。此外，领域偏移问题是由于云的形状和不同的云类别以及不同的全球地貌类型引起的。因此，使用简单的UDA方法对跨卫星图像进行云检测是一个很大的挑战。
在本文中，我们着重于利用UDA方法从ZY-3图像的缩略图中获取云覆盖信息，以评估其质量。如[10]和[13]所示，高分辨率卫星图像的缩略图包含数据生产者获取云覆盖信息所需的信息。然而，缩略图包含一个RGB图像(有三个波段)或一个灰色图像(只有一个波段)。毫无疑问，缩略图图像与高光谱或多光谱RS图像之间存在较大的领域差异。为了减少域差异差距，我们建议使用特征级域适应来鼓励云检测网络生成源和目标域数据集的域不变特征。受类级域适应方法[22]的启发，我们提出了一种细粒度特征对齐(FGFA)域适应方法，该方法不仅考虑了源和目标域数据集之间的局部类相关特征域转移问题，而且还考虑了局部类相关特征的有效对齐。
我们提出了一种类相关特征选择机制来选择细粒度的类相关特征，然后提出了一种特征对齐(FA)策略来有效地将源和目标领域数据集的类相关特征对齐到一个共同的特征空间中。为了评价该方法的有效性，我们使用Landsat-8云覆盖评估验证数据集[14]和GF-1 WFV云和云阴影覆盖验证数据集[15]组成带标记的源域数据集，而未标记的fy -3卫星缩略图数据集作为目标域。在本文中，最终目标是学习一个从源标记的域卫星数据集训练的云检测模型，该模型可以在目标ZY-3数据集上表现良好。我们的贡献可以概括如下。

• 我们提出了一种FGFA策略，以鼓励分割网络提取域不变表示。目的是提高对目标未标记卫星图像的云检测精度，并在两个域传输任务中验证了该策略的有效性。
• 我们提出了一种注意力引导(AG)类相关特征选择机制，该机制利用分割网络预测得分图获得的空间注意力图来指导源和目标领域数据集中细粒度类相关特征的选择。
• 我们提出了一种基于分组特征对齐(GFA)策略的类相关FA方法，该方法能够有效缩小源和目标域之间的特征分布差距，获得域不变的特征表示。

2.方法

2.1.提出的UDA框架

图3所示。提出了基于UDA的遥感图像云检测框架。在这个框架中，我们提出了一种FGFA策略来对齐源和目标域数据集中的局部类相关特征。提出的FGFA域适应包括两个阶段:1)AG类相关特征选择和2)类相关FA。在训练过程中，提出的UDA框架的分割网络G有两个输入数据集，源域数据集X_s= {xⁱ_s}^Ns_i=1，对应标签Y_s = {yⁱ_s}^Ns_i=1;目标域数据集X_t = {x^j_t}^Nt_j=1，不带标签，其中xⁱ_s和x^j_t为三个通道图像，N_s和N_t分别表示源域数据集和目标域数据集中的样本数量。y^～i_s和y^～i_t是预测的评分图。y^～i_s(:，:，1)和y^～i_s(:，:， 2)分别是源域数据的云和非云区域的空间注意图。y^～i_s(:，:，1)和y^～i_s(:，:， 2)分别是目标域数据的云和非云区域的空间注意图。Fks和Bks分别是源域特征Hks的云相关特征和非云相关特征。Fkt和Bkt分别是目标域特征Hkt的云相关特征和非云相关特征。定义第k个隐层特征的目标函数L^k_fgfa = L^(k,1)_gfa + L^(k,2)_gfa，其中 L^(k,1)_gfa 、L^(k,2)_gfa分别表示云相关特征和非云相关特征的gfa损失。红色箭头用于隐藏层特征，绿色箭头用于预测得分图。蓝色箭头表示客观损失。符号⊗表示elementwise乘法操作。彩色观看效果最佳。

为了有效地利用已有的标记源数据集并解决域转移问题，我们采用了一个UDA策略来减少源和目标卫星图像之间的域分布差距。在图3中，我们提出了基于FGFA策略的UDA框架，用于检测RS图像中的云。为了实现FGFA域适配，我们首先提出了一种与AG类相关的特征选择方法，该方法可以帮助准确地选择每个类的语义特征映射，然后使用所提出的GFA策略将这些特征映射对齐到一个共同的特征空间中。具体而言，提出的FGFA域适应包括两个阶段:AG类相关特征选择和FA类相关特征选择。

• 阶段I (AG类相关特征选择):在对局部类相关特征进行对齐之前，要抑制类无关特征的不良影响。为此，我们使用了特征选择。具体来说，我们利用分割网络的预测得分图获得的空间注意图来指导细粒度类相关特征的选择。
• 阶段II(类相关FA):为了对齐类相关特征，我们提出了一种GFA策略，帮助将源和目标领域数据集中的特征对齐到一个共同的特征空间。通过这种方式，我们可以鼓励分割网络生成域不变特征。

2.2.AG类相关特征选择

受[56]的启发，我们利用分割网络G的预测得分图得到的空间注意图来指导类相关特征的选择。令H^k_s∈R^W×H×C和H^k_t∈R^W×H×C分别表示从网络G第k个中间隐藏矩阵中提取的源和目标域特征。y^～i_s∈R^W0×H0×C0和y^j_t∈R^W0×H0×C0分别表示源和目标域实例的网络的预测score map。W和H分别为特征图的宽度和高度，C为特征图的通道数。W₀和H₀分别为预测得分图的宽度和高度，C₀表示类号。在本文中，我们简单地设置C₀ = 2，即云和非云类别。因此，源域特征H^k_s∈R^W×H×C的云相关特征F^k_s∈R^W×H×C和非云相关特征B^k_s∈R^W×H×C由下式给出

其中y^～i_s(:，:， 1)和y^～i_s(:，:， 2)分别是源域数据的云和非云区域的空间注意图。F(·)表示下样本或上样本算子，使预测得分图的分辨率与隐含层特征H^k_s相同。⊗表示elementwise乘法操作。在乘法运算过程中，空间注意值沿信道维度广播(复制)。
同样，目标域特征H^k_t∈R^W×H×C的云相关特征F^k_t∈R^W×H×C和非云相关特征B^k_t∈R^W×H×C由下式给出

其中y^～i_t(:，:，1)和y^～i_t(:，:， 2)分别是目标域数据的云和非云区域的空间注意图。在获得云和非云相关特征后，我们进一步应用提出的GFA策略对这些特征进行有效对齐。

2.3.Class-Relevant FA

图4所示。提出了GFA域适应策略。我们将中间特征映射分解为一系列组，并使用对抗性学习策略分别对源数据和目标数据中的每一组进行FA域适应。鉴别器D^^(k,r)_fa被涂成红色。彩色观看效果最佳。

为了实现较好的FA性能，我们提出了一种GFA策略来有效地对齐源和目标领域数据集中的类相关特征。如图4所示，在分组卷积[23]的启发下，我们首先将得到的类相关特征分成一系列组，然后对源域和目标域的每个分组特征分别使用对抗学习策略进行FA。实际上，这些操作执行的是局部类相关的FA，而不是整体类相关的FA。形式上，给定从网络G的第k个隐层提取的两个与云相关的特征映射，即源域特征映射F^k_s∈R^W×H×C和目标域特征映射F^k_t∈R^W×H×C，我们首先进行特征分割运算，得到特征映射组

其中R∈2ⁿ表示feature map group的数量。f^(k,r)_s∈R^W×H ×(C/r)^和f(k,r)^~t~∈RW×H ×(C/r)^表示分组特征，通过经典域对抗方法[47]对分组特征进行进一步对齐。
本文设计了一个标准的二值分类网络作为鉴别器D^(k,r)_fa。它可以帮助网络G生成域不变的特征表示。在鉴别器D^(k,r)_fa训练过程中，我们使用交叉熵域分类损失[44]作为目标函数。它可以被定义为

对于网络G训练，鉴别器D^(k,r)_fa提供的对抗目标定义如下:

式中L^adv_D(k,r)fa表示第r个对抗目标。由于提出的GFA域适应包含一系列子fa操作，因此所有子fa损失中都包含了GFA损失。对于云相关特征的GFA损失，定义为

根据上述建模过程，我们可以很容易地得到非云相关特征的GFA损失L(^k,2)_GFA。

2.4.网络优化学习

在训练过程中，提出的UDA框架的分割网络G有两个输入数据集，即源域数据集X_s= {xⁱ_s}^Ns_i=1，对应标签Y_s = {yⁱ_s}^Ns_i=1，目标域数据集X_t = {x^j_t}^Nt_j=1，不带标签，其中N_s和N_t分别表示源域数据集和目标域数据集的样本数量。分割网络G由一个标准的交叉熵损失L_seg和一系列的FGFA损失{L^k_fgfa}^K_k=1监督

其中λ_seg和λ_fgfa是用于最小化目标LG的调节参数，K表示应用FA域适应的隐含层特征的数量。L^k_fgfa表示第k个隐藏层特征的FGFA损失，定义为

其中L^(k,1)_gfa和L^(k,2)_gfa分别为云相关特征和非云相关特征的gfa损失。另外，由标记源例(x^s_i, yⁱ_s)提供的标准交叉熵损失定义如下:

y^～i_s= G(x^～i~s)是预测结果。
此外，目标样本不仅用于训练分割网络G，还用于最小化一系列类相关FA判别器的目标，如云相关FA判别器{L_D(k,r)fma}^K,R_k=1,r=1的目标。

2.5.网络结构

1)分割网络:在本文中，我们使用DeepLabv2[29]作为我们的主云检测分割网络g，并采用ResNet-101[25]作为骨干架构提取特征用于云检测。在主干的最后一层，有一个atrous空间金字塔池化(ASPP)模块[29]，旨在作为多尺度特征提取器和最终分类器。在这个网络中，直接预测的得分图是输入图像的1/8 × 1.8大小。最后的结果被上采样以匹配输入图像的大小。
2)鉴别器:鉴别网络采用标准的二分类器设计。图5显示了所提鉴别器的详细结构。它包含4个卷积层，4 × 4核，步幅集2和{256,192,128,64}通道。此外，在每一个卷积层之后，都有一个激活层。在本文中，我们使用Leaky-ReLU激活(slope = 0.2)。为了避免过拟合，提高训练的稳定性，我们为每个卷积层引入一个dropout层(dropout rate = 0.5)。在卷积操作的最后，引入全局平均池化层和全连接层，从不同的域获取每个输入特征的置信度得分。

图5所示。用于领域对抗学习的鉴别器网络结构。

3.实验

3.1.数据集

为了对该方法进行评价，我们采用Landsat-8云覆盖评估V验证数据集1和GF-1 WFV云阴影覆盖验证数据集2作为源域数据集，ZY -3卫星Thumbnail数据集作为目标域数据集。
1)目标域数据集
在本文中，我们收集了300个场景ZY -3缩略图，其中250个未标记缩略图用于网络训练，50个标记缩略图用于模型评估。这些训练和测试图像的土地覆盖类型包括森林、贫瘠、水、雪/冰、城市、湿地等，如图6所示。所有300个场景ZY -3的缩略图均来自于四川省自然资源部LSRSAC网站。R. China.3这50个标签由LSRSAC的专家培训人员手工标注。由于ZY -3卫星携带了4台不同分辨率的相机，因此原始RS图像的缩略图也显示出不同的图像分辨率。此外，由于不同相机对光谱的感知，得到的缩略图的波段数也不同。因此，在目标ZY -3缩略图数据集中存在较大的域内差异差距。这就是选择特征级域适应而不是像素级(视觉外观)域适应的原因。在表1中，我们展示了ZY -3缩略图数据集的详细信息。在训练过程中，我们进行数据增强，如图像旋转、翻转、交叉裁剪[10]等，以提高网络的鲁棒性。数据增强后，ZY -3缩略图数据集中约有19k大小为321 × 321的未标记子图像。需要注意的是，单通道灰度缩略图沿着通道维度广播(复制)，生成三个通道图像，用于模型训练和评估。
2)源域数据集
原始Landsat-8 OLI和GF-1 WFV数据集分别包含96和108幅场景多光谱图像。Landsat-8 OLI多光谱图像包含9个波段信息，空间分辨率为30 m(全色波段8除外)[14]。GF-1卫星携带一个大视场(WFV)成像系统，机载获得的GF-1 WFV图像包含蓝色、绿色、红色和近红外波段，空间分辨率为16 m[15]。由于需要平衡训练数据中带云和不带云的子图像的数量，并去除标注错误的示例，因此不能作为训练数据，类似于[10]，我们只从这些数据集中提取一个子集用于实验。具体来说，我们分别从Landsat-8 OLI和GF-1 WFV数据集中选取了40和60张场景理想图像(云覆盖率为5%-100%)。所有的训练数据被裁剪成321 × 321的子图像。最后，Landsat-8 OLI和GF-1 WFV训练数据集中分别有约25k和35k的标注子图像。
综上所述，这三个数据集的详细信息列在表II中。在本文中，我们有两个域适应设置，即“Landsat-8→ZY -3”和“GF-1→ZY -3”。考虑到ZY -3的通道数量有限，我们仅使用Landsat-8 OLI数据的波段2(蓝色)、波段3(绿色)和波段4(红色)以及高分一号WFV数据的波段1(蓝色)、波段2(绿色)和波段3(红色)进行域适应任务。

3.2.实验设置

我们提出的UDA方法是基于Pytorch框架开发的。它在搭载NVIDIA GTX 1080 Ti GPU的操作系统Ubuntu 14.04下进行训练。
我们采用SGD[57]算法对发电机网络进行优化。在两个域适应任务中，我们分别设置生成器网络训练的learning_rate = 2.5 × 10⁻⁴和鉴别器网络训练的learning_rate = 1.0 × 10⁻⁴。同时，我们设置training_decay = " poly " [58]， batch_size = 4, momentum = 0.9, weight_decay = 5 × 10⁻⁴。在本文中，所有模型都使用在ImageNet数据集[59]上预训练的模型进行微调。
在训练过程中，我们经验地设定所有任务的特征组数R = 4，设定“Landsat-8→ZY -3”域适应任务的平衡权重λ_fgfa= 0.001和λ_seg = 0.5，设定“GF-1→ZY -3”域适应任务的平衡权重λ_fgfa = 0.0005和λ_seg = 0.5。我们设K = 2，即我们在两个隐藏层的特征上应用FA域适应。具体来说，我们在RestNet-101的Conv4_x层和Conv5_x层的末端特征映射上应用FGFA域适应，用于所有域适应任务。在“Landsat-8→ZY -3”和“GF-1→ZY -3”域适应任务上分别进行60k和40k迭代训练。

3.3.实验结果

图8所示。对“GF-1→ZY -3”域适应任务进行定性比较。5个ZY -3缩略图示例包含不同的云形状和类别，包括(a)层积云(厚)具有不同的纹理和形状，(b)卷云(薄)和积云/卷层云(厚)，©高积云(厚)，(d)卷积云(厚)，和(e)非云，其中(a)和(b)是RGB图像，而© - (e)是灰色图像。在绿色矩形区域中的每个子图像都被放大并显示在原始图像的下方。最佳观赏颜色。

图11所示。嵌入式特征表示的可视化。注意(a)是没有域适应的特征表示，(b)是有域适应的特征表示。这里采样RestNet-101的Conv5_x层的末端特征映射作为示例特征表示