高光谱图像分类论文(八)

Residual Spectral–Spatial Attention Network for Hyperspectral Image Classification

Minghao Zhu , Licheng Jiao , Fellow, IEEE, F a n g L i u , Senior Member , IEEE,
Shuyuan Y ang , Senior Member , IEEE, and Jianing Wang, Member , IEEE

前言

这也是一篇注意力机制和残差网络相结合的文章，发表于IEE E TRANSCATION TGARS 上。

一、提出的问题

1.在高光谱数据中，是否所有的谱段对于CNN分类时有相同的作用，如果不是，如何找到有用的的谱段并在端到端的网络去实现。
2.是否所有相邻的像素点对于CNN分类都有相同的作用？如果不是，如何找到有用二点像素点并在端到端网络中实现？
3.在分层频谱空间学习特征中，是否来自不同空间位置和不同谱段的特征对于分类任务作用相同？，如果不是，如何突出有用部分并且压缩无用部分，并在端到端网络中实现？

二、作者模型

提出RSSAN网络模型

Fig2是作者提出的空间-光谱注意力机制的结构图，具体工作原理如下：

在光谱注意力机制中，作者对原始的输入的HSI Cube分别进行了全局平均池化和全局最大池化，获得两个一维的向量，再让它们分别通过两层全连接层，分别用relu和sigmod激活，这个过程和SE-net有点类似，关键在于这两层全连接是权值共享的，输出后的两个一位向量相加，再和原始输入的INPUT_LAYER相乘，权重已经赋值到了HSI Cube上，光谱的注意力机制已经完成。

在空间注意力机制中，也是做了两个全局池化和前面的光谱注意力机制中的全局池化不同的是，空间注意力机制的全局池化是在光谱维度上进行的，也分别进行全局最大池化和全局平均池化，经过池化后的输出应该是(None,Height,Width),光谱维度被压缩掉了，两个生成的二维向量，在水平进行拼接，生成(None,Height,Width,2),再对他们进行卷积，特征图数量设置为1，激活函数为sigmoid，最后结果和原始的INPUT_LAYER相乘，得到空间的注意力机制权重。

将生成的空谱注意力机制嵌入到残差网络的CNN中去，形成了RSSA module，如上图所示，经过Conv，Batch,Relu等一系列的基本操作后，加入Attention，并且与前层网络进行跳连，构成一个完整的RSSA block

上图就是作者网络的完整结构，将各个部分拼成最终的网络

三、创新点

1.作者提出了一种端到端空谱联合的注意力机制，通过有限的参数量，达到不错的训练效果，对于原始输入的HSI Cube 并没有进行常规的PCA降维操作，来做到防止有效光谱信息的丢失。

2.在网络结构的设计中，上来直接将HSI Cube塞入空-谱注意力机制block中，想要直接增强有用信息，抑制无用信息，通过有无注意力模块的对比，如下图
实验结果确实有所改善

3.记录一下实验采用的高光谱数据集信息：