Generative Adversarial Networks for Hyperspectral Image Classification

摘要

摘要:生成对抗网络通常包括一个生成网络和一个相互竞争的判别网络。GAN已经在各种应用中显示了它的能力。本文首次探讨了GAN在高光谱图像分类中的有效性和有效性。在提出的GAN中，设计了一个卷积神经网络(convolutional neural network, CNN)对输入进行区分，并使用另一个CNN生成所谓的
假的输入。上述提到的两个CNN是一起训练的:生成式CNN试图生成尽可能真实的虚假输入，而有鉴别力的CNN则试图对真实和虚假输入进行分类。这种对抗训练提高了判别CNN的泛化能力，这在训练样本有限的情况下是非常重要的。具体地，我们提出了两种方案:1)一个设计良好的一维GAN作为光谱分类器;2)一个稳健的三维GAN作为光谱空间分类器。此外，将生成的对抗样本与真实训练样本结合使用，对判别CNN进行微调，提高了最终的分类性能。提出的分类器是在三种广泛使用的高光谱数据集上进行的:Salinas, Indiana Pines, and Kennedy Space Center。结果表明，所提出的模型与现有的方法相比具有较强的竞争力。此外，所提出的GANs为HSI分类这一具有挑战性的任务在遥感领域开辟了新的机遇，也揭示了基于GAN的方法在分析此类复杂且固有的非线性数据方面的巨大潜力。

简介

高光谱传感器同时捕获观测目标的空间和光谱信息。这些数据的特点是:作为地球观测的有价值的信息来源,既带来挑战和机遇发展新的数据处理技术,高光谱图像的分类(上学),这是一个关键步骤过多的应用,试图为每个像素分配一个特定类的场景。HSI分类广泛应用于城市发展、土地变化监测、场景解释、资源管理等领域。在高光谱数据处理技术中，分类是遥感领域最活跃的研究课题之一。
本文首次探讨了GAN在高光谱数据分类中的应用。在GANs的帮助下，Deep CNN在分类精度方面有了更好的表现，CNNs提出的过拟合问题也得到了很大的缓解。提出了两种HSI分类框架:1D-GAN和3D-GAN，这两种框架的分类结果表明，即使在训练样本有限的情况下，我们的GANs也优于传统的CNNs。更详细地，本文的主要贡献总结如下。
1.首次探讨了GAN在高光谱数据处理中的应用。利用设计良好的GAN生成了一维谱和三维谱空间斑块。
2.提出了两种用于HSI分类的GAN框架，即光谱分类器和光谱空间分类器。该框架使用设计良好的CNNs对HSIs进行分类，采用正则化技术进行对抗性训练.
3.首次使用对抗性样本进行HSI分类，对上述GANs进行调优，提高分类性能。
4.在训练样本有限的情况下，对三种已知的高光谱数据集进行了测试。

背景

机器学习中的监督学习方法一般可以分为两部分:生成方法和判别方法。生成方法包括从数据样本中学习分布参数他们可以根据所学的模型生成新的样本。通常，生成方法计算分布对实数的显式或隐式变量的假设数据。然后，他们可以通过学习生成新的数据假设，其分布与真实数据相似。
一般来说，GAN由两个部分组成:生成网络G和判别模型D。生成器G可以捕获真实数据的潜在分布并输出新的数据，而鉴别器D是一个二元分类器，它可以判断输入样本是否真实。GAN中的信息流是从一个模型生成器G(生成假数据)到第二个模型鉴别器D(计算第一个模型的输出)的前馈传递。

后面是ACGAN的详细知识，就不赘述了。

模型

我们的网络是根据ACGAN理论形成的，而目标函数则根据正确来源的可能性和正确HSI类的可能性进行了修改。该算法根据多分类损失对参数进行优化，较传统的遗传算法能更合理地优化损失函数。将标记信息作为发生器和鉴别器的输入，鉴别器D包含一个辅助解码器网络，可以输出各自的训练数据标签。显然，额外的标签信息可以同时利用鉴别器D的分类能力和生成器g的生成能力。

从原始GAN中可以看出，在训练过程中，鉴别器D同时接收到生成器G生成的真实训练数据和虚假数据，输出概率分布P(S|X) = D(X)。因此，D网络的目标是最大化对数似然函数值。同样，G网络的目标是最小化此等式。

在网络中，我们可以看到生成器G也接受HSI类标签c∼pc;除噪声z外，G的输出可以定义为Xfake = G(z)。相应的类标签的真正的训练数据和由G生成的假数据被视为鉴别器D的输入。结果上的概率分布P (S | X)以及类的概率分布P (C | X)被送入网络D中。目标函数包含两个部分:正确结果的对数似然LS和正确类的对数似然。

因此D被优化为最大化LS + LC，而G被优化为最大化LC - LS。
在这个实验中，两个框架(即设计了光谱向量与光谱空间信息的组合，前者称为一维GAN，后者称为三维GAN。上述两个框架中的G和D都是卷积网络的形式。该方法不仅可以对真实输入和虚假输入进行分类，而且可以对输入数据的相应标签进行预测。G的形式是小型的CNN, D的形式是CNNs。最后，使用sigmoid分类器和softmax分类器并行进行分类，分别对真实/虚假样本和HSIs进行分类。

随着训练过程的继续，当G可以生成与真实数据最相似的假数据，D无法区分假数据与真实数据时，理论上G和D都会得到最优的结果。这样，我们可以证明整个网络达到了纳什均衡条件，两个网络之间的敌对行为和竞争可以提高分类性能。因此，GAN的关键思想在于对抗性训练，通过不断的竞争，我们可以获得优于传统CNN方法的分类结果。

1D GAN

1 - GAN的主要框架如图3所示，它仅在所有输入噪声和训练数据都是谱向量的情况下，基于HSI光谱特征构建而成。由于原始HSI中数百个频段的可用性，意味着输入具有高维数，因此很难对发生器G进行训练，换句话说，由于高冗余度，发生器无法有效地模拟真实数据。因此，我们基于PCA提取HSIs的光谱特征。主成分分析法通过将光谱维数降至合适的尺度来压缩整个图像，是构成鲁棒GAN的关键步骤。更有针对性的是，为了使发生器在捕捉关键特征和生成最真实的样品，以及保存最重要的原始HSI波段光谱信息方面发挥更大的能力，我们保留了包含输入99.99%能量的10个主成分。
在图3中，我们展示了作为输入的Salinas数据集上的1D-GAN的框架。从图3可以看出，G同时接收噪声z和标签c作为输入，而D接收带有标签c的真实光谱向量x和一些批次的虚假光谱向量G(z)作为输入。然后通过D网络得到最终的结果，包括类标签和源标签。在我们的网络中，在我们的网络中，任何池化层都被stride convolutions (discriminator) and fractional-strided convolutions (generator)替代。

3D GAN

3D-GAN的主要框架如图所示。在三维GAN中，该网络有效地提取了光谱空间特征，取得了较好的分类性能。在这里，我们只描述了提议的3D-GAN的特殊部分。与只利用HSIs光谱信息的1D-GAN不同，本节除了考虑光谱特征外，还考虑了空间特征。利用主成分分析法将光谱波段的数量缩减为三个分量，通过将数据维数缩减到合适的尺度来压缩整个图像，同时保留空间信息。由于主成分分析方法的存在，极大地降低了计算复杂度，对GAN训练过程的稳定性至关重要。在三维GAN中，发生器接受噪声作为输入，将其形状转换为与真实数据相同的大小，在光谱域中有三个主成分。然后，鉴别器接受真实数据或生成的虚假样本作为输入数据，使用sigmoid分类器给出真实和虚假的分类结果，使用softmax分类器给出分类图。GAN的第一层以均匀噪声z为输入，是一个矩阵乘法。然后结果被重新构造成一个张量，用作卷积堆栈的开始。在提出的框架中，我们用多色正方形表示高光谱背景标签，而用灰色正方形表示源标签。在3D-GAN中，就像在1D-GAN中的基本分配一样，池化层被strided convolutions(在discriminator中)和分数strided convolutions(在generator中)所取代。此外，在生成器和鉴别器中都使用了批处理归一化，消除了完全连接的隐藏层。

生成对抗性样本进行分类

现在让我们考虑GAN由一个发生器和一个鉴别器组成。对鉴别器的分类能力进行了讨论。另一方面，使用来自生成器的假样本也有可能提高最终分类结果的准确性。事实上，当鉴别器不能区分真实数据和合成的假数据时，我们也可以得出结论，G的生成能力优于d，因此整个对抗网络在理论上实现了全局最优性。在本文中，生成的伪样本可以看作是增加训练样本数量的增强数据。然后，将假样本和真实样本分别输入网络，以优化网络。假设在网络训练中，原始数据集有N个类。首先，每个生成的样本通过网络向前传递，并通过取概率预测向量的最大值来分配一个标签。因此，这些假样本可以用来在网络上使用这些标签进行培训。此外，生成的样本不属于任何类别的真实样本。由于真实样本和生成的样本的不同，一个新的类标签被创建，每个假样本都被赋予了这个新的标签。在本文中，我们采用这种方法将N + 1赋值给伪样本的标签。在本文的实验部分，我们通过伪色图定性地将对抗性样本可视化。

个人感觉

ACGAN的高光谱改进版，看完感觉创意性很一般，但结果还凑合。
University of Pavia data对比版，引自Deep Learning for Hyperspectral Image Classification: An Overview（2019）