RPNet对高光谱图像分类《Hyperspectral image classification via a random patches network》

相关介绍

如今越来越多的研究将深度学习应用到高光谱图像(HSI)分类中。到目前为止，这些方法大多先经过预训练阶段和微调阶段来提取深层特征，它们一般框架如Fig.1所示，它主要分为两部分：

1. 深度特征提取，包括空间和光谱信息的提取（值得注意的是微调并不是所有深度学习方法的必要步骤所以是虚线）；
2. 通过硬分类器SVM或者软分类器log回归进行分类

目前这些方法整体存在几个问题：

• 耗时的；
• 需确定大量参数，需大量训练样本；
• 只利用最深层的特征来对图像进行分类

而文章中提出的基于深度学习的方法RPNet（Random Patches Network）直接将从图像中取得到的随机patches视为卷积核而无需任何训练，它具有更简单的结构和更少的时间消耗，通过结合浅层和深层卷积特征，使RPNet具有多尺度的优点。

RPNet结构

RPNet采用了一个级联结构，仅包括了PCA、白化、随机块、卷积和ReLu几部分，一个两层的RPNet流程图如Fig.2所示。

1. PCA和白化：首先对原始数据运用PCA进行降维，得到前p个主要波段，然后进行白化操作，使得不同波段之间的方差相似，降低了不同波段之间的相似性，有利于分类任务。
2. 随机patches的卷积：从白化数据中随机选择k个像素。在每个像素周围，取w×w×p 大小的patch，得到k个随机patch，对于分布在图像边缘的像素，通过镜像图像来填充邻居的空白像素。最后，将k个随机patch作为卷积核与白化后的数据做卷积操作，得到k个feature map。
3. 非线性激活：为了改善特征的稀疏性，我们进一步利用线性单元作为激活函数：
   
   最后，网络第一层中的特征可以表示为:

4. 深层特征提取：为了提取第l层中的特征，我们将第l-1层得到的结果视为新的输入数据，并采用第一层的特征提取过程，最终得到第一层到第l层的特征为：

5. 标准化处理：分类中使用的最终特征将是网络中所有层的叠加特征并原始光谱数据相结合，X表示原始光谱数据：

然后在进行分类之前，需要对Z中的每一维的数据进行标准化处理，如公式所示：

6. SVM分类

RPNet的算法流程可归结如下：

RPNet的两个变体

(1) RPNet-single，与RPNet过程相同，只是RPNet-single在分类阶段只使用与原始光谱特征叠加的最深层特征，与传统的深度学习方法类似。
(2) RandomNet，它与RPNet具有相同的体系结构，但使用标准高斯分布的随机滤波器替换随机patch。

实验

在评估网络层数中，我们测试了RPNet以及它的两个变体的分类准确率，其他参数均设置相同，结果如下：
由上可以看出，
1)RPNet的表现性能最好，并且随着网络层数的增加准确率呈上升的趋势，直到网络第七层之后，准确率不会再上升。
2）对于RandomNet，在只有一层的网络中表现很差，不过，随着网络层数的增加，其表现性能逐渐接近于RPNet
3）对于RPNet-single，在前两个数据集上准确率只有开始轻微的提升然后下滑，在最后的数据集中持续下滑，原因有两个，一个是没有将深层于浅层信息结合，二是随着层数的深入，虽然提取了更重要的特征，但也带来了信息丢失的问题。

与其他方法比较的定量估计结果（只展示了一个数据集的结果）：
同时，在时间效率上，RPNet 在各数据集上时间代价最多为1分钟左右，具有明显的计算效率优势。最后作者指出，随机的patch是从 feature map 中随机选取的，这也许是 RPNet 比 RandomNet 性能更好的一个原因。