高光谱图像分类论文分析（一）
Deep Feature Fusion via Two-Stream Convolutional Neural Network for Hyperspectral
收录于：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, VOL. 58, NO. 4, APRIL 2020
作者：Xian Li , Student Member , IEEE, Mingli Ding, and Aleksandra Pižurica, Senior Member , IEEE
一、存在的问题：
1.第一点存在的问题
First, a large number of labeled training
samples are required to obtain a satisfactory performance.
In practice, a limited amount of training data and unbalanced
samples constrain the network depth and width, reducing the
feature extraction capability.
首先，需要大量标注的训练样本才能获得令人满意的性能。在实际应用中，有限的训练数据量和不平衡的样本限制了网络的深度和宽度，降低了特征提取能力。
高光谱图像限制于数据集的有限，不能获取到大批量的标记的数据进行训练，因此数据的短缺成为高光谱图像训练短板
他人改善数据集的努力
such as data
augmentation [34], [47], [48] and transfer learning [45], [49],
are adopted to alleviate this problem to a certain extent, but
the inherent limitation of the models remains a limiting factor
for the network performance.
总结
有人采用的了数据增强，迁移学习有一定的缓解，但是模型固有的局限性依然存在
2.第二个存在的问题
The second challenge is how
to exploit the spectral and spatial information more effec-
tively.
首先，需要大量标注的训练样本才能获得令人满意的性能。
在实际应用中，有限的训练数据量和不平衡的样本限制了网络的深度和宽度，降低了特征提取能力。
他人改善数据集的努力
the authorsproposed using multiple inputs based on six diverse regionsto better extract spectra–spatial features. This led to improved
performance compared to most of single input methods
作者提出使用基于6个不同区域的多个输入来更好地提取光谱空间特征。与大多数单一输入法相比，这提高了性能
二、作者提出的模型：
We propose a novel approach to boost
the network representation power with a two-stream 2-D CNN
architecture. The proposed method extracts simultaneously, the
spectral features and local spatial and global spatial features, with
two 2-D CNN networks and makes use of channel correlations to
identify the most informative features.
我们提出了一种新的方法来提高网络表示能力的双流2-D CNN架构。
该方法利用两个二维CNN网络同时提取光谱特征和局部空间和全局空间特征，并利用通道相关性来识别信息最丰富的特征。
Global分支模块通过SE-Conv 和SE-Res网络，主要从较大的图像块中提取全局的空域特征(因此input_shape=(27,27,3)),所以可以看到，第三维光谱特征我们是不太需要的，这里就通过PCA将Global的输入的光谱维度降为3，方便我们对空域特征的提取。在提取空域特征时，作者提出构建SE网络和残差模块来增强学习能力和网络的深度（如上图所示）
对于Global模块中的核心，就是SE moudle,SE-Conv moudle,SE-Res moudle，具体SE模块的工作原理可以另外找参考，总之三者实现的功能就是，增强网络深度去更好的学习空间特征
Local分支模块主要从较小的图像块中提取光谱特征和局部的空间特征，因此input_shape=(7,7,20),也是通过PCA主成分分析，将光谱维度压缩到20，由于数据集采用的是Indian pines，原始大小为(145,145,200),压缩到20已经完全足够保留99.99%的光谱信息，不会造成特征遗漏情况,但是图像块的大小就要被适当压缩，但是我们local也需要提取局部的空间特征，因此windowsize选择7还是比较合适的。
三、作者实验结果：
