高光谱图像分类与深度模型

1.高光谱图像与多光谱图像的异同

相同点：
多光谱和高光谱都属于光谱成像技术的一种，在图像处理领域都有广泛的应用。

不同点：

1、分辨率不同

多光谱成像——光谱分辨率在 delta_lambda/lambda=0.1数量级，这样的传感器在可见光和近红外区域一般只有几个波段。
高光谱成像—— 光谱分辨率在 delta_lambda/lambda=0.01数量级，这样的传感器在可见光和近红外区域有几卜到数百个波段，光谱分辨率可达nm级。

2、波段不同

多光谱图像通常指3到10个波段。每个波段都是使用遥感辐射计获得的。

高光谱图像由更窄的波段（10-20 nm）组成，光谱图像可能有数百或数千个波段。一般来说，它来自成像光谱仪。

2.高光谱图像分类的基本原理

不同物质在不同波段光谱信息下具有不同的表现。对于某一物质，不同的光谱波长，可能对应有不同的光谱值，可以绘制一条关于光谱波长与光谱值间的关系曲线。根据曲线的不同，对高光谱图像的物质进行分类。

3.高光谱图像分类的两大问题

（1）大空间光谱特征的可变性(不确定性)
由许多原因导致，例如光照、环境、大气、时间条件的变化。
（2）可获取训练样本数量有限
导致一些方法的效果适用性降低，分类器性能低下。

4.高光谱图像分类——深度学习模型

（1）SAEs（堆栈自动编码器SAE）
自动编码器AE是堆栈自动编码器SAE的重要组成部分。图2展示了一个AE由一个可视层的输入d，一个隐藏层的单元L，一个重构层的单元d。该训练程序有两步。第一步，输入层的x被映射为隐藏层的h（编码）。第二步，隐藏层的h被映射为重构层的y（解码）。这两步也被定义为：

wh与wy分别是从输入层到隐藏层、隐藏层到输出层的权重值；bh与by分别表示隐藏层单元、输出层单元的偏差，函数f()表示为一个处理动作函数。利用x,y间的欧式距离估计重构误差，用||x-y||最小化重构误差，估计输入数据x。

SAE堆栈自动编码器可由多层AEs叠加而成，将一层的输出附加到下一层的输入。图3演示了一个SAE的简单表示，这个SAE与随后的逻辑回归分类器相连接。SAE可以作为光谱分类器，每个像素向量都可以作为输入。

（2）DBNs（深度置信网络）
受限玻尔兹曼机(RBM)是一种分层训练模型，被认为是DBN的主要构件。图4展示了一个RBM，主要由两层网络组成，可视单元v和隐藏单元h。给定这些单位，单位的联合构型的能量可以定义为：


其中，wij表示为可视单元i与隐藏单元j间的权重，bi、aj分别是可视单元、隐藏单元的偏差值。权重wij是用散度来学习的。在RBM中，给定可视状态的隐藏单元是有条件独立的，因此，当给定数据向量时，可以从后验分布中获得无偏样本。
为了增强单独一个RBM的特征表现能力，多个RBM依次堆叠在一起，就组成了一个DBN，DBN可以通过学习来提取训练数据的深层层次表示。图5展示了一个DBN由多个RBN层组成。为了把DBN当做分类器使用，可以在该网络的末端加入一个逻辑回归层来构成一个光谱分类器。

（3）CNNs（卷积神经网络）
CNNs卷积神经网络的思路来源于人的视觉系统结构。与全连接网络相比，CNNs利用局部连接来提取图像上下文二维空间特征。此外，通过权重共享机制可以显著降低网络参数。具有代表性的CNNs结构如图6所示，它主要由一堆交替的卷积层和池化层与一些完全连接的层组成。在卷积层，带有空间上下文信息的图像小块与内核进行卷积。池化层减小了卷积层生成的特征图的大小，以便获得更具有一般性、更抽象的特征。最后，这些特征图通过几个完全连接层处理，进一步转化成特征向量。这里，每个组件描述如下：

（1） 卷积层：一般来说，卷积层是CNNs最重要的组成部分。在每一个卷积层中，输入多维数据集与多个可学习过滤器进行卷积运算，生成多个特征图(映射)。特别地，输入多维数据集X，尺寸为mnd，其中m*n是X的空间尺寸，d是通道数，xi是X的第i个特征图。假设在本卷积层有k个滤波器，第j个滤波器可以由权值wj和偏置值bj特征化。该卷积层的第j个输出可由下式表示：

号表示卷积运算，f()是用来改善网络非线性的激活函数。近年来，ReLU[31]已成为最常用的激活函数。ReLU主要有两个优点:收敛速度快，对梯度消失具有鲁棒性。ReLU的表达式为：

（2） 池化层：在卷积神经网络中，由于图像中存在冗余信息，在多个卷积层的后边周期性地加入池化层。通过池化操作，可以有效地减小特征图的空间尺寸，同时减少了网络的参数的个数和计算量。通过池化操作，特征图的尺寸逐渐减小，提取的特征变得更加抽象。特别地，对于一个pp大小的窗口即为S，平均池化操作一个表示为：

其中F是S中元素的个数，xij是位置(i,j)对应的激活值。
（3） 完全连接层：在池化层之后，将前一层的特征映射进行平铺，并反馈给完全连接层。在传统的神经网络中，完全连接层通过重新映射特征图到n维向量来提取更深入、更抽象的特征。一般来说，完全连接层可以被定义为：

其中X,Y,W,b分别是输入、输出、权重、偏差。
（4）RNNs（递归神经网络）
与前馈神经网络对比，RNN利用循环隐藏状态，使得其每一步的激活都依赖于前一步的激活，来识别数据序列中的模式和动态时间特征。
X是一系列连续的数据，xi是第i次的数据值。在时间序列t中，可循环隐藏状态h如下所示：

f1是一个非线性函数(一个逻辑s形函数或双曲正切函数)。按照惯例，上式中的可循环隐藏状态可由下式更新计算：

其中w、u分别表示当前步步骤输入的系数矩阵和上一步循环隐藏单元激活的系数矩阵，bh表示对应的偏差向量。状态h将在步骤t被用来预测y(t)：

其中，f2是一个非线性函数。p是当前步骤中循环隐藏单元激活的系数矩阵，by是对应的偏差向量。可以看到，可以使用不同的非线性函数f1、f2来估计h(t)、y(t)。传统的RNN神经网络在处理长期序列数据时，由于梯度的消失或爆炸，其性能会有所下降。为看解决这一问题，出现了长短时内存(LSTM)和门控递归单元(GRU)。
（5）GANs（生成性对抗网络）

GANs是相对较新的模型，包括一个生成模型G和一个区分模型D。模型G和模型D以一种对抗性的方式进行训练。模型G尽可能真实地生成伪输入，而模型D区分真输入和伪输入。通过两种模型的对抗和竞争，鉴别器的训练过程将持续且有效。GAN的体系结构如图7所示：

生成器G可以接纳随机噪声z作为输入数据，生成伪数据G(z)。鉴别器D估计x是真样本的概率；最大化log(D(x))，即训练样本分配正确标签的概率，来训练鉴别器D。最小化log(1-D(G(z)))训练生成器G。因此，GAN的目标是解决以下极大极小问题：

其中E是期望值算子。由于CNN的优势，在相关文献中提出了在G和D中使用深度卷积网络的深度卷积GAN架构。虽然GAN是一种很有前途的技术，但是初始鉴别器D只能估计出输入的样本是否为真。因此，GAN并不适用于多类别的分类操作。Odena在论文中提出了一种可以用于分类的辅助分类器GAN，将D修改为一个能够输出多类标签概率的softmax分类器。
一个已提出的基于GAN的HIS分类框架如图8所示。从图8，我们可以看到除了噪声z之外，生成器G也接纳HIS类标签c；并且G的输出可被定义为x(fake)=G(z)。将带有相应类标签的训练样本和G生成的伪数据作为鉴别器D的输入数据。客观函数包含两部分：Ls 和 Lc。

因此，对D进行优化，使得Lc+Ls最大；对G进行优化，使得Lc-Ls最大。