高光谱图像分类论文分析(三)

Hyperspectral Imagery Classification Based on Compressed Convolutional Neural Network

作者:Xianghai Cao , Member , IEEE, Meiru Ren, Jing Zhao, Hui Li, and Licheng Jiao , Fellow, IEEE
期刊：IEEE GEOSCIENCE AND REMOTE SENSING LETTERS

一、前言

本篇文章是一篇短文，虽然是基于高光谱图像分类，切入点很有新意，并非传统意义上对于是网络结构的更改，本篇文章最主要提出了teacher-Student 网络，并围绕关键词’knowledge distillation‘(KD)展开全文。

二、提出问题

作者提到如今对于高光谱图像传统机器学习方法：SVM,RF,MLR,其中SVM确实泛化能力强并且在少量的样本上有不错的成绩，但是！！
问题：这些个基于像素分类的方法势必会因为较高的类内光谱相似和较低的类间光谱差异，从而产生了噪声
为了改进这个问题，提出了空谱联合特征分类的方法：edge preserving filter 可以平滑SVM的分类结果显著改善了分类的精度；将消光轮廓(EP)与一种基于超像素的自适应复合核策略相结合等等。。
接下来就是深度学习中的卷积了，超级无敌，几乎没有传统的机器学习可以与之匹敌，基于高光谱图像处理的卷积又可以分为两类：1.基于光谱特征分类2.基于空谱联合特征的分类，接着作者介绍了各种前人的研究。

1.Haut等人，利用贝叶斯神经网络的主动学习模型开发光谱和空间上下文信息
2.Paoletti等人对基于胶囊网络的CNN进行了训练，获得了较高的分类准确率。
3.另外还有一些如：堆叠式自动编码器，深度置信网络，残差网络也已经广泛使用在高光谱图像分类中

神经网络的普遍问题：参数过剩，冗余严重导致计算机算力和内存的浪费
作者说自己提出一个压缩神经网络，因为通常来说，神经网络需要很大的网络规模来获得更高的精确度并且这些网络都有一定程度的冗余，作者的切入点就是尽可能的降低这些冗余，但是呢，如果单纯压缩网络，肯定也不可取啊，高光谱图像的很多特征是无法提取到的，精度就要下来了，那可怎么办呢？？？

Knowledge distillation(KD)–知识蒸馏
下面仔细介绍一下

二、作者的模型

（1）采取卷积的模型结构

当然了，就算作者再创新，卷积肯定还是要用的，我们先来看看作者使用的提取特征时的卷积模型的样子：


在第二张图的顶部画出的作者采用的卷积网络图，非常的常规，这一部分作者并没有进行拓展创新，首先是对图片PCA主成分分析的压缩，接着常规的卷积，池化，再卷积，再池化，再进行卷积后接一个全连接输出到分类的种类个数K，这也是常规的采用CNN进行高光谱图像处理进行的操作，但这些也只是作者提出的模型中的一小部分内内容。

（2）采取的方法

KD的意思就是将大网络的模型提炼出来，将学习到的知识转移到小型网络中，因此也被称为’teacher student system’，教师网络的职责就是协助学生网络进行训练，但教师网络起到的只是辅助的作用，将自己训练好得到的‘knowledge’转给学生网络，因此，学生网络可以在小规模的情况下却依然拥有和大规模网络相近的精确度，这就解决上面作者提出的参数过多，计算力和内存冗余的问题。受到KD启发，作者接下来提出了一种新颖解决方案。将数据归一化到[0,1]中，然后将(27,27,3)的图像块塞入网络。

作者引入虚拟样本来充分利用教师网络的信息，作者通过上式–一种简单的线性组合方法来生成虚拟样本，xi和xj是从原始训练样本中随机选择出来的，他们的标签值通过教师网络预测出来，然后扩充训练数据集给到学生网络进行学习，扩充的数据机集就包含了原始的数据集和新生成的虚拟样本。需要注意的是，原始训练样本的标签被由教师网络产生的这些预测标签替换，为了防止噪声和异常值对实验进行干扰。

上表格给出了学生网络和教师网络各自的结构框架。

具体的过程如上图FIG2所示，原始训练样本被压缩后，经过随机抽取，又形成了新的虚拟样本，将两个样本集结合形成Extended samples，教师网络先经过原始数据集和其对应的真值标签训练，保存网络权重，这时候教师网络已经具有很好的分类精确度了，接着再将Extended samples送入teacher CNN model进行训练，训练结束，会生成针对Extended samples的soft targets标签,接着再把Extened samples和Extended samples通过教师网络生成的对应的标签送入学生网络，形成最终的分类。

三、实验结果

可以看出，Stu-Net在降低参数的同时依然在分类精确度上达到了很高的标准，有效解决了参数过多，浪费算力等问题

四、创新点

本文作者受到了KD的启发，并且对KD加以改进，通过生成teacher-student网络，并且加入了虚拟样本，使得参数、网络规模较小的学生网络可以获得如同大型卷积神经网络一样的分类精度，这比最先进的分类算法更好(作者说的)，但是确实降低了参数冗余的问题，本文最最主要的点还是在于创造性设计的’teacher-net的训练并且学习到的“knowledge‘传给了’student-net，这才使得’student-net’可以拥有这么好的效果。作者也说了，后期他们还要在算法上进行改进，争取用更少的虚拟样本，来包含更多的分类边界信息。(确实，根据作者最后所做的补充实验，精度要达到稳定的最高点，虚拟样本的数量是原始数据的3倍)，而且可以增强学习表现从而可以试试进一步再压缩’student-net’的参数。拭目以待。。