【图像超分辨率】Single image super-resolution using multi-scale feature enhancement attention residual net

本文实现了浅层CNN和深层CNN的集合，并提出了多尺度特征提取和关注块（MSFEAAB），以更好地同时从LR图像中提取低频和高频信息。为了抑制由于解卷积层导致的棋盘问题，采用像素解卷积来对特征图进行升标。

提出了一个多尺度特征提取和注意力块（MSFEAAB），包括三个主要步骤。(一)特征提取，(二)向上缩放，(三)图像重建。在特征提取步骤中，采用多尺度特征提取后的注意力模块，以更高效地学习卷积滤波器。

在特征提取模块中，关键问题之一是用于卷积核的接受场的大小。小尺寸的核对提取低频成分有帮助，而，大尺寸的核对高频成分的提取效果更好。通常情况下，为了同时抓住这两个特征，在不同的卷积层中使用不同大小的接受场，导致网络深度增加，造成不必要的计算负担。因此，为了同时掌握两种信息，本文在同一层中采用多尺度卷积进行特征提取。

在提出的CNN架构中，深度网络部分可以进一步分解为三个子部分：特征提取、上缩和重构。

多尺度特征提取与注意力机制如图3所示，从输入图像中整体性地获得具有低级和高级信息的特征。

卷积过程中内核的大小是影响特征提取过程中获得信息的因素之一。小尺寸的内核在提取低频分量时效果较好，但对高频分量效果较差，而大尺寸的内核在提取高频分量时效果较好，但在捕捉小细节时效果不佳。这个问题可以通过在不同CNN层中使用不同大小的内核来解决。然而，这增加了CNN架构的深度，导致复杂度提高。因此，这里采用了图4所示的同一层内的多尺度卷积。
在图4中，第一层由大小为1×1、3×3、5×5和7×7的4个卷积算子同时组成。这有助于将低频和高频信息聚集在一起。它的模型如公式5所示。


其中，wn m是分配的权重，bn m是偏置项，m从1到4变化。一旦从所有四个卷积算子中获得特征图，它们就会通过跨光谱维度的连接操作进行组合。为了减少并联后的特征图的维度，将其送入3×3卷积层。在这里，池化层没有被利用，因为它通过消除一些细节来减小图像的大小，这是不可取的，可能会导致有用信息的去除。

为了证明多尺度特征提取过程优于单尺度特征提取过程，将其存在于特征提取和重构部分的多尺度层分别替换为内核大小为1×1、3×3、5×5和7×7的单尺度层，得到了所提出的架构的另外四个变体。在表2中，这些变体分别与最初提出的算法在PSNR和SSIM方面进行了比较。从表中可以推断出，采用多尺度层代替单尺度层，算法的性能有所提高。