RSE2022/云检测：A hybrid generative adversarial network for weakly-supervised cloud detection 多光谱图像弱监督云检

论文下载

0.摘要

云检测是地球观测光学卫星图像处理管道中的关键步骤。光学遥感图像中的云严重影响背景的可见度，大大降低了图像在土地应用中的可用性。基于阈值、多时相或多光谱信息的传统方法通常特定于特定的卫星传感器。用于云检测的卷积神经网络通常需要用于训练的标记云掩模，这非常耗时且获取成本昂贵。为了克服这些挑战，本文提出了一种基于生成对抗网络（GAN）和基于物理的云失真模型（CDM）的协同组合的混合云检测方法。提出的弱监督GAN-CDM方法（在线可用https://github.com/Neooolee/GANCDM)训练只需要面片级标签，并且在训练和测试阶段都可以在像素级生成云掩模。GAN-CDM在一个新的全球分布式陆地卫星8数据集（WHUL8 CDb，在线doi:https://d oi.org/10.5281/zenodo.6420027）上进行培训，包括图像块和相应的块级标签。实验结果表明，在陆地卫星8号图像块上训练的所提出的GAN-CDM方法不仅在陆地卫星八号图像（L8生物群落数据集，90.20%对72.09%）中，而且在Sentinel-2图像（“S2云掩模目录”数据集，92.54%对77.00%）中实现了比基于基线深度学习的方法高得多的云检测精度。这表明，所提出的方法在陆地卫星图像中提供了精确的云检测，对Sentinel-2图像具有良好的可转移性，并且可以快速适应不同的光学卫星传感器。

1.概述

在我们之前的工作CR-GAN-PM (Li et al.， 2020a)中，提出了一个重新定义的云失真物理模型，并结合GAN框架进行薄云去除和云失真层提取。采用CR-GAN-PM方法中的GANs学习从模糊特征到清晰特征的映射，并从块级标签生成像素级标签。CR-GAN-PM利用云图中云和背景分量独立的特点，首先利用其他区域的清晰图像作为“参考”，将这两个分量从云图中分离出来。然后将这两种成分输入到云畸变模型中重建云图。通过评估重建图像与原始云图的全局一致性，可以确保云分量与原始云图的强相关。虽然CR-GAN- PM算法产生了精确的云反射率层，但对应的云畸变层包含了过多的背景信息，很难对云畸变层进行简单的二值化处理来获得云掩码。此外，CR-GAN-PM的云畸变模型没有考虑热带上的辐亮度传递过程。
Li等人(2022)在最近对云检测方法的调查中得出结论，将物理模型与深度学习相结合，以及将云去除与云检测相结合，将进一步提高云检测效率，促进遥感图像的应用。在我们早期的工作CR-GAN-PM (Li等人，2020a)中，我们已经证明了物理模型和深度学习的结合可以改善薄云去除。在本研究中，我们提出了一种结合GANs和云畸变模型(GAN-CDM)的混合弱监督云检测方法，用于遥感图像的云检测。GAN-CDM对CR-GAN-PM进行了升级，主要解决了CR-GAN-PM的局限性:(1)无论使用多少输入通道，都只输出一组云失真层(而不是CR-GAN-PM每个输入波段一个云厚度分量去云)，使其更适合云检测;(2)利用交叉熵损失对所有失真层与恢复后的背景层之间的相关性进行高梯度惩罚，更好地分离云和背景;(3)引入了一种新的热红外波段云畸变模型;(4)提出了一种新的有效阈值选择策略，进一步减少了人工操作。
在对十种云检测算法进行了全面的互比较之后，云掩蔽互比较练习(CMIX)最近提出了一些提高云检测性能的建议(Skakun et al.， 2022)。其中一项建议是使用云光学厚度作为一个潜在的度量，以解决对“云”定义的分歧，这影响了算法的性能和评估。需要注意的是，输出的反射率值可以看作是云的厚度，可以在像素级上表示云的影响。因此，GAN-CDM的性能不会受到“云”定义的影响。
CMIX的研究还表明，在全球尺度上覆盖不同表面和云类型的云数据集是可取的，以彻底测试算法在全球尺度上的性能。由于GAN-CDM是一种弱监督的云检测方法，在训练中需要块级标签，而没有合适的训练数据集，因此我们收集了一种新的具有块级标签的云检测数据集WHUL8-CDb，并进行了协调，用于实验。WHUL8-CDb数据集包含500幅分布在全球的Landsat 8图像，覆盖了与L8生物群落数据集(Foga等人，2017年)相同的8个生物群落，并将其裁剪成斑块，然后将其分为多云或晴云。该数据集作为开放数据集发布给社区，用于进一步的模型开发和相互比较。综上所述，这项工作的主要贡献如下:

1. 在我们之前的模型的基础上，提出了用于云检测的GAN-CDM。与端到端方法不同，GAN- CDM的培训不需要人工标记云掩码。本文提出的GAN-CDM方法的输入是图像块和相应的块级标签(0为浑浊图像，1为清晰图像)。与端到端方法相比，GAN-CDM在块级标记图像的时间大约是像素级(云掩膜)标记图像的0.7%。这对未来的标记方式有一定的影响，并预示着监督算法的巨大进步。
2. GAN-CDM考虑了Landsat 8的所有多光谱波段。在WHUL8-CDb数据集上训练GAN-CDM和两种相似的基于深度学习的基线方法，然后在独立的L8 Biome数据集和Fmask 4.0 Landsat 8验证数据集上测试相同传感器和波段的性能。在两个Landsat 8数据集上的实验结果表明，当使用相同的波段作为输入时，基于gan - cdm的模型优于基于基线深度学习的模型。消融实验证明了所提出的云畸变模型在热红外波段的有效性。
3. 在独立的Sentinel-2云掩码目录(S2-CMC)数据集和Fmask 4.0 Sentinel-2验证数据集上运行训练良好的基于gan - cdm的模型和基于基线深度学习的方法，分析它们对另一个光学传感器的可移植性。在两个Sentinel-2数据集上的结果表明，基于GAN-CDM的模型比类似的基于深度学习的基线方法具有更好的转移性。

2.GAN-CDM模型

2.1.Physical model of cloud distortion云畸变的物理模型

云畸变模型最早是在(Mitchell et al.1977)中提出的，被广泛用于图像去雾。该模型包括两个主要组成部分:背景的透射和云的反射，卫星传感器接收到的信号：

式中x、y为图像中像素的坐标，a为大气的衰减系数，I为太阳辐射能，φ(x,y)和t(x,y)分别为背景反射率和云的透光率。第一项aIφ(x,y)t(x,y)表示来自地面的退化反射率，第二项I[1-t(x,y)]表示云的反射率。
如图2所示，云对来自太阳和地面的入射能量的影响包括反射、透射和吸收。在我们之前的工作(Li et al.， 2020a)中，我们考虑了云的向上反射率、透过率和吸收，并约束它们的总和为1。在云畸变模型中，将式(1)中大气a的衰减系数作为云向下透过率的一个分量处理:

式(2)的约束条件为:

其中a(x,y)、t(x,y)、γ(x,y)、α(x,y)分别为云的下透过率、上透过率、反射率和吸收率，。τ(x,y)称为双向透射率，ρ(x,y)称为常数层。

与可见光、近红外和**短波红外波段(VNS)**不同，**热红外传感器(TIRS)**波段的信号主要来自于背景的热辐射。云对红外波段的影响仅包括上透过率、吸光率和反射率。因此，一种新的热波段云畸变模型被定义为:

式中，δ(x,y)和θ(x,y)分别为背景和云的热辐射。
方程式(2)、(3)、(4)，重新定义的云畸变模型考虑了云对成像过程的所有影响。下一个主要任务是找到一种简单的方法来解出他们的未知变量。GAN被选为拟议的GAN- CDM框架的一部分，详细内容将在下一小节介绍。

2.2.GAN-CDM结构

2.2.1.GAN-CDM整体框架

GAN算法最初用于生成样本。它由两个网络组成:生成网络(G)和判别网络(D)。G试图生成真实的样本来混淆D, D试图区分真实的样本和生成的样本。在此过程中，G和D进行了一个极大极小博弈，其公式如下:

式中，dx为真实样本的分布，dz为输入样本的分布，G(z)为生成样本。G试图最小化V(G,D)而D试图最大化V(G,D)。G训练好后，D无法区分G(z)是来自真实样本的分布还是生成样本的分布。

图3.GAN-CDM的框架。GAN-CDM的输入是c、n及其块级标签（无论图像是否包含云)

本文提出的GAN-CDM方法的流程图如图3所示。GAN-CDM由三个网络组成:两个生成器(G1和G2)和一个鉴别器(D)。首先将输入图像c放入G1和G2中，分别生成背景和云组件。然后使用D来区分G1生成的背景组件是否包含云(0或1)，而不管生成的图像质量如何。如果G1生成高质量的云图，D的输出也将为0。G1的生成损失将会很大，这将迫使G1产生一个更清晰的图像。最后，通过重新定义的云失真模型，利用背景和云分量对输入图像进行重构。为了更好的理解GAN-CDM方法的过程，两个场景的中间结果如图15所示。
GAN-CDM中的G1和D组成GAN结构，并进行极大极小博弈。我们采用D的输出与块级标签之间的MSE作为D的损失函数

其中dn为真实清晰图像的分布，dc为模糊图像的分布。
为了迷惑D, G1试图产生高质量的“清晰”图像。G1的损失函数为

其中G1©为生成的“清晰”图像。通过最小化LG1, G1将更新其权重参数，将云特性映射到后台特性
有了GAN损耗的约束，什么只能确保G1©是一个“清晰”的图像。但是，不能保证“清晰”的图像与输入图像是相关的。因此，我们将重新定义的云畸变模型引入GAN-CDM中，利用提取的背景和云成分重建输入图像。我们用c '表示重建图像。VNS波段的重构过程可以表示为:

式中，G2_τ©和G2_γ©分别为云的双向透射率和反射率。
我们假设云团在TIRS波段的反射率和辐亮度为0，观测到的信号仅来自于背景的传输。由于上透过率没有单独求解，我们假定VNS波段的反射率越高，TIRS波段的透过率越低。因此，我们将热红外波段的云畸变模型定义为

通过比较重建图像c’与输入图像c的差值，G1和G1将共同保证背景分量和云分量与输入图像的相关性。研究发现，在CycleGAN中L1损失对于图像重建是有效的(Zhu等人，2017b)。我们用L1距离来测量c’和c的差值:

使用L_G1和L_rec，生成的图像G1©将是清晰的，并与输入图像相关，这意味着G1©包含与输入图像相同的背景分量，输入图像中的云区域被转换为G1©中的清晰区域。
一旦背景和云组件完全分离，它们应该是互不相关的。与背景分量相比，云分量的纹理变化较少。Zhang et al.(2018)提出了一种新设计的分离透射层和反射层的边缘相关损失函数，边缘相关可以计算如下:

其中m为下采样因子，本研究设为3,n和q为G1和G2的输出数，∇为梯度算子，‖*‖F为Frobenius范数。通过最小化Lcor，云和背景组件之间的相关性将尽可能低。
需要注意的是，G2只产生三个通道(q =γ, τ, ρ)，分别是VNS波段的反射率、透射率和约束层(Eq.(3))。原因如下:

• 如果G2为每个输入频带产生三层，那么G2的输出通道为3n (n为输入频带数)，这会增加很多参数和计算量。相反，L_cor的计算循环由m×n×3n缩减为m×n×3。
• 由于GAN-CDM的目的只是检测云，而不是去除云，所以对输入图像进行三层粗略重建就足够了。

GAN-CDM的输入图像为浑浊/清晰的图像。清晰影像的主要用途是指导G1了解清晰映像的分布情况。由于清晰图像中没有云，假设清晰图像的G2_γ© G2_τ©和G2_ρ©的值分别为0、1和0。为了优化G2对清晰图像的处理，降低误检率，我们还将清晰图像输入到G2中，并使用一个常数度量作为G2的参考。采用交叉熵损失函数(De Boer et al.， 2005)作为该优化过程的损失函数:

式中y_k是作为G2_k(n)参考的常量度量。G1和G2的最终损失函数如下:

其中，λ_G1=0.5， λ_rec=10， λ_cor=1和λ_opt=1分别为L(G1,G2)内个体损失的权重，并与(Li et al.， 2020b)中设置的权重相似，如图4所示为图2中生成器G1/G2的结构。

2.2.2.CDM的网络架构

受(Gandelsman et al.， 2018)图像分割的启发，GAN-CDM中的G1和G2均采用U-Net架构，旨在将高分辨率特征与上采样输出相结合。G1/G2的详细网络架构如图4所示。G1/G2的基本组成部分是卷积和反卷积序列。可以看出，编码器中的每一个卷积序列(除了最后一个)，其输出不仅传递给下一个卷积序列，而且与对应的反卷积序列的输出串联起来，然后传递给下一个反卷积序列
G1/G2中每个卷积和反卷积层的详细信息如表3所示。G1和G2各层除了输出通道数和输出激活功能相同外，其他层完全相同。G1/G2的主要架构由13个综合处理单元组成。前7个处理单元具有相同的层序:卷积层、实例归一化层和泄漏修正线性单元(LReLU)层。我们称这个卷积序列为Conv。LReLU图层的坡度设置为0.2。Conv_i中卷积层的内核大小和步长分别设为3×3和2，而Conv_1的步长设为1。解码器的前6个处理单元具有相同的层序:反卷积层、实例归一化层和修正线性单元(ReLU)层。我们称这个反褶积序列为Deconv。取Deconv_i中反褶积层的内核大小和步长分别为4×4和2。Conv_out_G1和Conv_out_G2是G1和G2最后的卷积序列，只包含卷积层。设置Conv_out_G1的输出通道数为n，即输入频带数。Conv_out_G2输出3个通道，分别代表反射率层、双向透射层和约束层。由于入射太阳辐射设为1，背景反射率必然为正且小于1，因此G1的激活函数为sigmoid函数，将输出值的范围归一化为[0,1]。由式(5)可知，G2的3个输出之和应为1，我们采用Softmax函数作为激活函数来满足这个约束。如表4所示，GAN-CDM中的鉴别器D与Patch-GAN (Zhu et al.， 2017a)相同，只是采用5个Conv序列提取特征，判断输入是否为实。

3.实验结果和讨论

3.1.实验设置

3.1.1.基线方法

在实验中，提出的GAN-CDM与两种传统的云检测方法Fmask 4.0 (Qiu et al.， 2019)和Sen2cor 2.8.0 (Main-Knorn等人，2017)，以及两种基于深度学习的方法GCM (Zou et al.， 2019)和WDCD (Li et al.， 2020a)进行了比较。GCM和WDCD需要与GAN- CDM相同的块级标记训练样本，GCM还将GAN与云失真模型结合起来进行云检测。WDCD首先通过将图像分类为浑浊或清澈来提取有用的特征。然后通过去除预训练模型中的池层产生像素级标签。由于Fmask 4.0是在L8 Biome数据集上训练以获得最优参数，因此在L8 Biome数据集上的验证实验中排除了Fmask 4.0。由于Fmask 4.0和Sen2Cor需要完整的S2文件输入，而S2 CMC数据集只包含子场景，所以在S2 CMC数据集的验证实验中，这些方法被排除。

3.1.2.超参数设置

在训练阶段，将基于GCM和wdcd的模型的超参数设置为默认值。adam -优化器用于训练基于GAN- CDM的模型，adam -优化器的参数设置为与(Zhu等人，2017a)中相同的值:β1=0.9， β2=0.999，初始学习率=0.0002。衰减策略采用指数衰减，衰减率为0.96。总操作量为1,000,000次。衰减策略在前10万次迭代之后使用。批大小设置为1。
训练实验在2个Intel ® Xeon ® CPU E5-2640 v4 x86_64 @ 2.4 GHz上进行，运行在Linux操作系统上，使用NVIDIA Tesla V100 GPU, 16gb内存(4gb足够训练GAN-CDM)。GCM和GAN-CDM在TensorFlow平台(版本1.14)上实现，它们的鉴别器和生成器像在CycleGAN中一样从批到批交替训练(Zhu等人，2017b)。WDCD是用PyTorch平台(1.9版)实现的。GCM、WDCD和GAN-CDM的输入是训练阶段的WHUL8-CDB图像和相应的块级标签。将像素值的范围除以65,535归一化为[0,1]，然后输入到基于深度学习的方法中。
如2.2节所述，Landsat 8中1/2/3/4/5/6/7/9波段对应于Sentinel-2中的1/2/3/4/8/10/11/12波段，1/10波段的空间分辨率远低于Sentinel-2中的其他波段。因此，我们选择Landsat 8的公共波段2/3/4/5/6/7作为基带。对于每种基于深度学习的方法，使用不同数量的输入波段训练两个模型:GCM-4、WDCD-4和GAN-CDM-4模型的4个波段(波段2/3/4/5)，GCM-6、WDCD-6和GAN-CDM-6模型的6个波段(波段2/3/4/5/6/7)。为分析TIRS波段云畸变模型的有效性，利用Landsat 8影像对8个波段(波段2/3/4/5/6/7/10/11)的云畸变模型(GCM-8t、WDCD-8t和GAN-CDM-8t)进行训练和评估。利用10个波段(波段1/2/3/4/5/6/7/9/10/11)模型(GCM、WDCD和GAN-CDM)分析1/9波段(Coastal/Cirrus)引入的改进。为了保证实验的公正性，我们只修改了GCM和WDCD源代码中的数据路径和输入/输出频带，保留了模型的原始实现。
在测试阶段，对Landsat 8和Sentinel-2图像分别除以65,535和10,000，将像素值归一化为[0,1]。与训练不同，我们只对测试图像运行训练好的生成器G2生成云失真层，其中仅使用反射率层来生成最终的云掩模。由于反射率层的取值范围为0 ~ 1，因此按照4.2节的方法对反射率层进行二值化，得到最终的云掩模。由于GPU的内存限制，无法一次性处理整个测试图像。因此，我们在输入图像上应用了一个大小为384×384，步长为192×192的滑动窗口来提取云失真层并避免边界效果

3.2.阈值选择

与一些基于深度学习的端到端云检测方法使用0.5作为默认阈值输出二进制掩码不同，GCM、WDCD和本文提出的基于GAN-CDM的模型输出的是一个从0到1的连续值，并采用不同的过程来获取最优阈值。基于GCM的模型将值大于100和小于200的像素作为云像素，WDCD将训练数据集中清晰样本结果的平均值和标准差结合，得到最优阈值，生成二进制云掩码。对于基于GCM和WDCD的模型，我们采用了默认的二值化过程。对于基于GAN-CDM的模型，基于Fmask 4.0生成的“绝对”清晰像素和云像素等辅助数据集获得最优阈值。

图5所示。GAN-CDM-4和GAN-CDM-6产生的反射层示例。(a) L8群落的草、水和冰。(b) S2 CMC中森林、山地和灌丛。

如图5所示，从图中可以看出，不同输入频带的GAN-CDM模型产生的反射率值范围是不同的。这是因为GAN-CDM的设计目的是提取常见的云失真层，用于粗略重构所有输入频带，而基于GAN-CDM模型产生的那些云失真层与输入频带不同。从列上看，同一模型不同卫星传感器产生的反射率值范围略有不同，这可能是由于Landsat 8和Sentinel-2传感器的比特数不同造成的。
本小节的实验用于获得基于GAN-CDM模型的不同输入频带对不同传感器的最优阈值。由于OA是一个综合的精度指标，因此根据其值选择最佳阈值。通过对云反射层应用不同阈值计算OA曲线，选取模型获得OA最高的阈值作为最优阈值。为了更好地采样阈值，我们在计算OA之前将反射率层乘以255，使阈值范围在0 ~ 255之间。
利用L8_Abs数据集获得基于GAN-CDM的Landsat 8图像模型的阈值(图6)。在L8_Abs数据集上，基于GAN-CDM模型的最佳阈值随输入波段的不同而不同。基于gan - cdm模型的OA值随着阈值的提高而增加，然后趋于平稳，然后下降。虚线表示最大OA值的阈值。当阈值为7时，GAN-CDM-6和GAN-CDM的OA最高。GAN- CDM-4的最佳阈值为11。还可以看到，在0 - 15的阈值范围内，GAN-CDM-6和GAN-CDM的OA总是高于GANCDM-4。GAN-CDM-6和GAN-CDM在不同阈值上具有非常相似的OA。由于基于GAN- cdm的模型也可以应用于Sentinel-2图像，因此我们使用S2_Abs数据集来获取基于GAN- cdm的Sentinel-2图像模型的阈值。图7给出了GAN-CDM-4、GAN-CDM-6在S2_Abs数据集上的平均OA曲线。可以看出，GAN-CDM-4和GAN-CDM-6的OA曲线具有相似的趋势，GAN-CDM-6得到的OA始终高于GAN-CDM-4，阈值在1 ~ 15之间。当阈值为6时，GAN-CDM-6的OA最高，GAN-CDM-4的OA最高阈值为7。

图9所示。L8 Biome不同方法的云检测结果示例。(一)雪/冰。(b)贫瘠和缺水。©荒草和城市。(d)灌木地和水。除图(a)采用了SWIR-G-B合成外，其余均采用NIR-G-B合成。

表6 S2 CMC 513张图像上不同方法的平均精度指标。对于相同数量的输入频带，用粗体标记出最高的值，并以下划线表示最佳的整体方法。

图11所示。S2 CMC中不同方法的云检测结果示例。(一)雪/冰。(b)贫瘠。©的城市。(d)森林。(e)湿地。(f)水。除图(a)采用了SWIR-G-B合成外，其余均采用NIR-G-B合成。

表7 L8_Fm4v上不同方法的平均精度指标。对于相同数量的输入频带，用粗体标记出最高的值，并以下划线表示最佳的整体方法。

表8 S2_Fm4v上不同方法的平均精度指标。对于相同数量的输入频带，用粗体标记出最高的值，并以下划线表示最佳的整体方法。