【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network

对于遥感图像的超分辨率,本文提出了一种自适应多尺度特征融合网络(AMFFN)。 AMFFN 可以直接从原始低分辨率图像中提取密集特征,而无需任何图像插值预处理。串联几个自适应多尺度特征过滤块(AMFE),以自适应地提取遥感图像的高频详细特征信息。AMFFN 的主要贡献包括:

  • 针对遥感图像的超分辨率引入了一种自适应多尺度特征融合网络,可以自适应地提取多尺度特征信息;
  • 集成了挤压激励模块(Squeeze-and-Excited,SE)和自适应门控单元(Adaptive Gating Unit),用于特征提取和融合,可以学习特征图的通道相关性,自适应地确定应保留多少先前特征信息,减少冗余特征信息中间的多尺度特征,并增强了有用特征信息的使用。

首先介绍了自适应多尺度特征融合网络的整体结构,然后详细介绍了网络结构中更加细节的设计。

自适应多尺度特征融合网络(AMFFN)的网络结构主要分为四个部分:

  • 原始特征提取(original feature extraction)
  • 自适应多尺度特征提取(adaptive multi-scale feature extraction,AMFE)
  • 特征融合(feature fusion)
  • 图像重建(image reconstruction)

自适应多尺度特征提取是本文算法的核心模块,它由若干个自适应多尺度特征过滤块(AMFB)串联而成,主要用于完成遥感图像高频细节特征信息的自适应提取。
【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network_第1张图片
上图中网络输入为待重建的低分辨率遥感图像LR,HR为重建的高分辨率遥感图像。为保证计算效率,图像特征的提取和融合均在LR上进行。首先将带0n 个卷积核的卷积层conv 应用于输入图像,以生成一组特征图,具体操作如下:
在这里插入图片描述
式中,A 作为从低分辨率遥感图像中提取原始特征,w 对应于卷积层中的滤波器,这里为 128 个空间大小为 3×3 的卷积核,0b 表示卷积层的偏置,而’*'表示卷积运算。
在自适应多尺度特征提取部分,假设这里部分包含有 n 个自适应多尺度提取块(AMFE),那么第 i 个 AMFE 可以表示为:
在这里插入图片描述
其中,fMFE表示多尺度特征提取操作,g(.) 表示自适应特征门控操作,AMFE 是自适应特征提取的基础模块,它是由多尺度特征提取(multi-scale feature extraction, MFE)单元和特征门控组成,用于自适应地保留来自前一个 AMFE 模块的特征信息。通过特征提取,可以获得一系列特征图,对于这些特征图,包含大量的冗余信息,如果直接将其用于图像重建,则会大大增加计算负担。 因此,在将这些用于超分辨率的特征输入到重建层之前,将特征融合层设置在 n 个AMFE 之后以进行特征融合和降维。 特征融合层fusionA 的输出公式为:
在这里插入图片描述
上式中,w 对应特征融合层的权重,代表了 64 个尺寸为 1×1 的卷积核,b 是对应的偏差,并且[ , , , ]表示由第一特征提取层 conv 和 AMFE 提取的所有特征图的并联。
在最后图像重建部分与许多基于 CNN 的方法一样,采用亚像素卷积(sub-pixelconvolution)[35]的方法来重建高分辨率遥感图像。重建层的数学表达可以定义如下:
在这里插入图片描述
【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network_第2张图片

【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network_第3张图片
【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network_第4张图片
【图像超分辨率】Remote Sensing Imagery Super Resolution Based on Adaptive Multi-Scale Feature Fusion Network_第5张图片

你可能感兴趣的:(图像超分辨率论文)