小木虫 高光谱遥感图像处理_高光谱图像深度学习方法综述（一）

1.摘要

HSI----高光谱图像(Hyperspectral Image)。所捕获的光谱信息以及对应高光谱数据对象之间的非线性关系，使得传统方法无法进行准确的分类。深度学习方法作为一个强有力的特征提取器，被用在高光谱图像分类任务上。1.概括传统机器学习方法用于HSIC上面的不足，然后了解深度学习方法解决这些问题的优势。2.将目前最新的深度学习框架划分为：光谱特征、空间特征和空间光谱特征。3.如何高效生产标注数据集。

2.引言

以前用于分析单色、RGB和多光谱图像的传统方法不能直接在HSI数据上提取有意义的信息。HSI展示了高维光谱/空间数据的统计和几何属性，即超立方体和超球体的体积分别集中在角落和外壳。

HSI分析主要划分为：降维操作、光谱分解、通道检测分类、用于分类的特征学习、修复和去噪、分辨率提高。本文研究侧重于HSI分类问题。

列出一个将深度学习使用在HSI分类问题的步骤框架：光谱和空间特征分别学习

光谱空间特征学习

考虑到有限的训练样本，如何提高泛化性能

3.背景和挑战

A.从传统到深度学习模型

HSIC的主要任务----基于光谱或光谱空间属性，给HSI立方体中每一个像素标注。

数学形式为：HSI立方体可以表示为:

这里表示属于类的所有频带，且每个频带包含个样本数量总和，其中是个HSI立方体中的样本，其对应的类别是。

传统的手工特征方法主要包含两类：全局特征信息：颜色直方图，GIST(全局尺度不变性转变)、纹理描述子

局部特征信息：HOG(方向梯度直方图)、SIFT(尺度不变特征转换)

这些手工特征主要用来构建视觉词袋模型(BOVW)以及基于HOG特征的模型。

B.高光谱数据特点和深度学习挑战

一个主要问题是，缺少标注好的HSI数据。

其他问题：

高的内部变异性----集中环境因素干扰导致的反射值的不确定性变化；

由噪声导致的数据降级；

冗余带宽----HSI设备影响模型计算复杂度；

光谱混合----关联于HSI的空间分辨率。

4. HSI的表示

HSI数据用立方体表示：,这当中，一个样本包含的谱段信息和的空间信息，作为所有的谱段，和是空间部分，如下图1所示。

A.谱段表示

上面表示中，每个像素向量是隔离于其他像素，并且处理每个像素向量是基于特定的频谱空间的，其中。注意，可以是实际的谱段通道数，或者经过了降维后的谱段通道数。

仅仅依靠谱段信息来区分不同类型数据是不容易的，因为谱段混合的影响，相同材料可能表现出同的谱段信息，或者不同材料可能表现出相同的谱段信息。

B.空间表示

每一个谱段带宽中的像素信息，即空间信息，表示为矩阵的形式：

。空间相关性很高，相邻像素有很大可能属于同一个类别，像素的相邻关系能够决定使用像素核以及像素中心窗口。

C.谱段空间表示

联合使用谱段和空间信息。一个像素向量基于谱段特征进行处理，考虑到空间纹理信息。

具体的处理操作：直接拼接谱段向量中的空间信息

直接处理​的HSI立方体