论文阅读笔记：Spatial-Spectral Transformer for Hyperspectral Image Classification

Spatial-Spectral Transformer for Hyperspectral Image Classification

论文题目： Spatial-Spectral Transformer for Hyperspectral Image Classification
下载链接： https://www.researchgate.net/publication/348804892_Spatial-Spectral_Transformer_for_Hyperspectral_Image_Classification
引用方式：

@article{article,
author = {He, Xin and Chen, Yushi and Lin, Zhouhan},
year = {2021},
month = {01},
pages = {},
title = {Spatial-Spectral Transformer for Hyperspectral Image Classification},
volume = {13},
journal = {Remote Sensing},
doi = {10.3390/rs13030498}
}

一、动机

\quad \quad 高光谱(HS)是一种顺序数据，CNN很难处理顺序数据且不擅长建模长范围的依赖性，即光谱段之间的依赖性。

二、相关工作

1D CNN----光谱特征
2D CNN----空间特征
3D CNN----光谱+空间

三、方法

1、DenseTransformer

\quad \quad 在深度Transformer模型的训练过程中，存在一个常见的问题，即消失梯度。为了缓解消失梯度，增强特征传播，短接被使用来组成DenseTransformer。

2、Spatial-spectral Transformer(SST)

\quad \quad 首先利用CNN提取每一个通道的空间信息，然后再将通道位置进行编码输入到Transformer中提取通道之间的光谱依赖性，最后用MLP对其进行分类。

3、特征增强的Spatial-spectral Transformer（SST-FA）

\quad \quad 动态特征增强。SST经常容易过拟合，因此需要适当的正则化来很好地推广。首先在特征中随机选择一个坐标，然后在坐标周围放置一个mask，它决定有多少特征被设置为零。

4、迁移的Spatial-spectral Transformer（T-SST）

\quad \quad 由于高光谱的图像一般尺寸较小，所以训练样本少。因此，我们首先在ImageNet进行预训练，然后再在HS图像上进行微调。
\quad \quad 由于大规模数据集(即源数据集)有三个通道，而HSI数据集(即目标数据集)却有数百个通道，所以简单地使用迁移学习进行HSI分类存在一个问题。为了解决异构迁移学习带来的问题，使用映射层来处理两个数据集的不同通道(即不同波段)的问题。

5、T-SST-L（在T-SST的基础上加入了Label smooth）

\quad \quad 为了提高模型的性能，引入标签平滑机制，降低模型的置信度