基于多类空间光谱生成式对抗网络的高光谱图像分类

《Classification of Hyperspectral Images Based on Multiclass Spatial–Spectral Generative Adversarial Networks》阅读笔记

摘要：对于高光谱图像分类，样本的采集总是很困难。然而，直接将GAN应用于高光谱图像分类存在两个问题。一个是生成的样本缺乏判别信息。同时，鉴别器对多分类没有判别能力。另一个是需要在高光谱图像分类中同时考虑空间和光谱信息。为了解决这些问题，提出了一种新颖的多类空间光谱GAN（MSGAN）方法。在MSGAN中，设计了两个发生器以分别生成包含空间和光谱信息的样本，并且设计鉴别器以提取联合空间光谱特征并输出多类概率。此外，还定义了多类的新颖对抗目标。设计鉴别器以预测属于真实类别的训练样本，并以相同的概率生成属于所有类别的样本。通过鉴别器和发生器之间的对抗性学习，在有区别的生成样本的帮助下促进鉴别器的分类性能。

引言

​ 传统的GAN方法，它们的鉴别器缺乏多类判别能力，因此这些方法不能直接用于分类。为了实现高光谱图像的分类，提出了一些基于GAN的网络[44] - [46]。在[44]中，提出了一种基于GAN的半监督学习方法。它缩写为HSGAN。在HSGAN中，未标记的训练样本首先用于训练1DGAN。然后，通过使用标记的训练样本来训练训练的鉴别器以进行分类。但HSGAN基于1DGAN，它没有充分利用空间信息。在[45]中，提出了一种用于高光谱图像分类的3DGAN方法。 3DGAN [45]以简化的方式实现。仅保留三个主要组件作为3DGAN的输入。卷积实际上不会在光谱中滑动。在3DGAN中，尽管sigmoid和soft-max分类器都应用于鉴别器D。G和D的目标函数仅在二进制sigmoid分类器的分支中是对抗的，并且在soft-max分类器的分支中不是相互对抗的。对抗性学习不能有效地促进D的多元判别能力。因此，应用GAN提取空间光谱特征并同时实现高光谱图像的多类分类仍然是一个具有挑战性的课题。

​ 本文提出了一种新的多光谱空间光谱GAN（MSGAN）方法用于高光谱图像分类。在MSGAN中，两个发生器G1和G2被设计成分别通过1-D转置卷积网络（1D-TCN）和2D-TCN的空间patch生成光谱。鉴别器被设计为通过使用来自光谱和空间patch的1-D CNN和2-D CNN来提取联合空间光谱特征，并通过soft-max分类器输出多类概率。鉴别器的目的是预测来自属于真实类别之一的训练样本的输入（也就是将真实样本正确分类），以及来自属于具有相同概率的所有类别的发生器G1和G2的输入。在生成器中，对抗性目标旨在使鉴别器出错。多类中的对抗性学习在辨别生成样本的帮助下提高了鉴别器的分类性能。最后，训练有素的鉴别器直接用作分类器。此外，条件标签信息被附加到生成器的输入，批量标准化策略[47]用于避免模式崩溃并提高MSGAN的稳定性。

​ 本文的主要贡献可归纳如下:

​ 1）MSGAN实现了基于GAN的端到端多分类。它可以生成空间和光谱样本，联合空间光谱特征提取和分类结合到一个统一的优化过程中。

​ 2）MSGAN为生成器器和鉴别器之间的多类定义了对抗性异议。与3DGAN [40]相比，MSGAN在多类中使用对抗性学习来进一步提高鉴别器的多类判别能力。

​ 3）对于高光谱图像中三维数据立方体的特征，MSGAN不仅生成具有一维光谱和二维空间斑块的样本，还提取联合空间光谱特征。与HSGAN [44]相比，MSGAN实现了端到端的基于GAN的分类，并利用空间信息来提升分类性能。

​ 4）MSGAN通过充分利用多类生成的样本和对抗性学习来缓解高光谱图像的小尺寸问题。

MULTICLASS SPATIAL–SPECTRAL GAN

​ MSGAN由三部分组成：基于1D-TCN的生成器通过生成器G1生成，基于2D-TCN的空间patch生成通过生成器G2，联合空间光谱特征提取，以及通过鉴别器D的分类。

MSGAN的网络结构：

G1的网络结构：

G2的网络结构：

D的网络结构：

多类光谱空间GAN

所提出的MSGAN方法的流程图如图2所示。如图2所示，MSGAN由三部分组成：基于1D-TCN的光谱生成通过生成器G1生成，基于2D-TCN的空间patch生成通过生成器G2， 联合空间光谱特征提取，并通过鉴别器D进行分类。
在高光谱图像中，像素的光谱由$x_{spe}=\{x_{sp{e}_i}{\}}_{i=1}^N$表示。 从高光谱图像获得相应的$w\times w$空间邻域片段，并且在应用PCA以提取若干主要成分之后由$x_{spa}=\{x_{sp{a}_i}{\}}_{i=1}^N$表示。 然后，$x_{spe}$和$x_{spa}$用于构成训练样本集$x=\{(x_{sp{e}_i}，x_{sp{a}_i}){\}}_{i=1}^N$，其中$N$是训练样本的数量。$y=\{y_i{\}}_{i=1}^N$表示训练样本对应的一个热点编码标签。
在样本生成阶段，随机噪声z1和z2分别用作G1和G2的输入。 此外，类标签y被添加到输入中以稳定发生器G1和G2并避免模式崩溃。 在训练之后，生成多类光谱$G_1(z_1,y)=\{G_1(z_{1_i},y_i){\}}_{i=1}^N$并且生成空间斑块$G_2(z_2,y)=\{G_2(z_{2_i},y_i){\}}_{i=1}^N$，其中 $G_1(z_1,y)$由1D-TCN生成，$G_2(z_2,y)$由2D-TCN生成。
在特征提取和分类阶段，具有soft-max层的鉴别器D提取联合空间谱特征并实现多分类。 设计鉴别器以预测属于多个类别之一的训练样本，并且以相同的概率从属于所有类别的G1和G2生成样本（就是说通过生成器生成每个类别的概率都是一样的，以Salinas为例，一共16类，通过生成器生成的假样本属于每个类的概率都是1/16）。 在对抗训练之后，鉴别器D被直接用于实现多分类。

A.通过MSGAN中的G1和G2生成基于1-D-TCN的频谱和基于2D-TCN的空间patch

发生器G1和G2用于生成多类光谱和空间片，它们分别包含光谱和空间信息。 如图3所示，生成器G1和G2都由反卷积构成。 具体地，设计1-D TCN以生成光谱$G_1(z_1，y)$，并且使用2-D TCN来生成空间patch$G_2(z_2，y)$。 额外标签信息y被附加到发生器G1和G2的输入中以避免潜在的模式崩溃。
生成器G1和G2的目的是学习训练样本的分布。 通过使鉴别器将每个生成的样本的标签$\{G_1(z_{1_i},y_i),G_2(z_{2_i},y_i)\}$预测为$y_i$来实现。 在G1和G2的训练之后，生成的样本$\{G_1(z_{1_i},y_i),G_2(z_{2_i},y_i){\}}_{i=1}^N$的分布更接近于训练样本$\{(x_{sp{e}_i}，x_{sp{a}_i}){\}}_{i=1}^N$的分布。
在生成器G1和G2中，逐层堆叠四个1-D和2-D转置卷积层。 除了最后一个使用tanh函数的卷积层外，所有转置卷积层中的线性单位（RELUs）都被用作非线性激活函数。为了提高生成器的稳定性，采用了批量规范化策略[47]。

B.在MSGAN中通过D进行联合空间谱特征提取和分类

在鉴别器D中，输入包含训练样本$\{(x_{sp{e}_i}，x_{sp{a}_i}){\}}_{i=1}^N$并且生成样本$\{G_1(z_{1_i},y_i),G_2(z_{2_i},y_i){\}}_{i=1}^N$。 鉴别器用于提取联合空间光谱特征并对高光谱图像进行分类。 具体地，通过1-D CNN从光谱$x_{spe}$和$G_1(z_1,y)$提取光谱特征，并且通过2-D CNN从空间patch$x_{spa}$和$G_2(z_2，y)$提取空间特征。 光谱特征和空间特征首先分别重新整形为列向量; 然后，将两个矢量连接在一起以获得联合空间光谱特征。
当提取联合空间光谱特征时，这些特征用于执行分类。 然而，经典GAN方法中的鉴别器仅区分输入是否是真实样本。 为了解决高光谱图像中的多分类问题，将softmax分类层添加到鉴别器中。 因此，可以从鉴别器获得类概率。 相应地，用于多分类的新的对抗目标函数定义如下，其中$l_D$和$l_G$分别是鉴别器和生成器的目标函数，$D(\cdot )$表示鉴别器的输出，$l(\cdot )$表示交叉熵。

从（2），鉴别器的目标函数$l_D$包括两个项。 第一项${\sum }_{i=1}^{N}l(D(x_{sp{e}_i},x_{sp{a}_i}),y_i)$鼓励鉴别器为真实类提供更高的概率$\{y_i{\}}_{i=1}^N$用于训练样本$\{(x_{sp{e}_i}，x_{sp{a}_i}){\}}_{i=1}^N$，第二项${\sum }_{i=1}^{N}l(D(G_1(z_{1_i},y_i),G_2(z_{2_i},y_i)),y_{G_i})$期望生成的样本$\{G_1(z_{1_i},y_i),G_2(z_{2_i},y_i){\}}_{i=1}^N$不属于$y_{G_i}$类。 $y_{G_i}=1/C，（1/C），...，（1/C）]$，其中C是类的数量。
详细地，生成的样本的类概率应该被预测为[0,0，…，0]，其表示生成的样本不属于任意类。 然而，来自soft-max分类层的所有概率之和总是为1。因此，使用近似表示$y_{G_i}=1/C，（1/C），...，（1/C）]$来替换[0,0，…，0]。 这种近似取决于所有输出概率加起来为1的情况下，$y_{G_i}=1/C，（1/C），...，（1/C）]$是在[0,0，…，0]的条件下最接近的事实。
对于多类生成的样本$\{G_1(z_{1_i},y_i),G_2(z_{2_i},y_i){\}}_{i=1}^N$，$l_D$和$l_G$的目标函数彼此是对抗的。 鉴别器旨在以相同的概率预测属于所有类的生成样本。 相反，生成器旨在使鉴别器将生成的样本的标签预测为$y_i$，这使得鉴别器错误。 通过对抗性学习，生成的样本的分布更接近于训练样本的分布。 它敦促鉴别器提取更多的判别特征，以区分训练样本和生成的样本。 因此鉴别器的判别能力逐渐提高。
鉴别器D和生成器G1和G2交替优化以更新参数。 鉴别器在固定生成器的情况下进行优化。 然后，使用固定的鉴别器优化生成器。 由于MSGAN的网络结构稳定，鉴别器优化一次。 为了使生成器有效地学习有限样本的高光谱数据的分布，生成器被优化k次。 它们都通过均方根传播方法进行优化[50]。
实验

所提出的MSGAN在Indian Pines, Pavia University, 和 Salinas三个数据集上验证有效性。对比方法有：RBF-SVM、SAE、DBN、CNN、PPF-CNN和3-D CNN。对于MSGAN，主要的网络结构和参数如表II所示。 在表II中，G1和G2表示两个发生器，D表示MSGAN的鉴别器。 “BN？”表示是否使用批量标准化。 m表示联合空间光谱特征的数量，n_classes表示类的数量。 鉴别器和发生器的学习率分别设置为0.002和0.01。epoch设定为1500。

总结

​ 本文提出了一种新的MSGAN方法用于高光谱图像分类。针对HSI中三维数据立方体的特点，在MSGAN中设计了两个生成器来生成HSI的光谱和空间斑块，并设计了一个鉴别器来提取联合空间光谱特征并输出多类概率。为了处理有限训练样本的多分类，MSGAN在发生器和多类鉴别器之间设定了新的对抗目标。对抗性目标使鉴别器预测生成的样本不属于任何类，并使生成器产生多类实际样本。通过充分利用多类生成的样本和对抗性学习，MSGAN提高了多类判别能力。同时，它减轻了HSI的小样本问题。

​ 实验结果表明，所提出的MSGAN方法在分类性能，运行时间和对训练样本数量的敏感性方面的有效性。对于高光谱图像，某些类通常比其他类具有更少的样本。这种不平衡现象可能对分类产生负面影响。将来，MSGAN将考虑集成学习来处理不平衡问题并进一步提高分类性能。