[ TNNLS ] Hyperspectral and SAR Image Classification via Multiscale Interactive Fusion Network

1 . 研究动机

• 由于单源数据的局限性，利用多源遥感数据联合分类受到关注

• 现有的多源遥感数据联合分类方法仍然存在一定缺陷

  1. 单源数据特征提取

  ​ HSI空间分辨率低，易受大气干扰，较难捕捉空间上下文信息；

  ​ 采用不同卷积核提取多尺度信息然后通过聚合融合，不能保证多尺度提取核融合的有效性，增加了模型参数和复杂性

  2. 多源数据特征融合

  ​ 卷积局部特征提取能力强，多源数据远程位置间的依赖性无法传输

本文提出一种基于多尺度交互信息提取的高光谱和SAR联合分类方法（MIFNet）

• 首先 设计多尺度信息提取模块MIIE ，丰富单源数据特征表示
• 此外，设计全局依赖性融合模块（GDFM），捕捉全局依赖性，实现多源数据全局融合

2 . 主要方法

2.1 MIIE（多尺度信息提取模块）

1. 首先，Input分为3组，分别利用三个不同尺度的卷积核提取信息
2. 感受野小的卷积核Output在通道维度分为两个子组，一个执行下次卷积操作，另一个与感受野大的卷积核Output拼接，然后执行该尺度下的卷积操作
3. 利用上采样来反向信息传播，然后在各自尺度下再进行最后一次卷积操作，最后将三分支特征拼接重建多尺度特征。

2.2 GDFM（全局依赖融合模块）

1. CFblock构建
   
   K、V相乘获得注意力权重矩阵，再与Q相乘，（K、V来自同一特征，Q来自不同特征（捕获跨模态的长期依赖））

2. GDFM构建
   
   最后，将注意力增强的特征映射拼接，实现异构数据间的交叉注意