【图像超分辨】A Matrix-in-matrix Neural Network for Image Super Resolution

Abstract

近年来，深度学习方法通过利用更深的层在单图像超分辨率（SISR）任务中以更高的峰值信噪比获得了令人印象深刻的结果。但是，由于它们需要很高的计算能力，因此它们的应用受到很大限制。 此外，大多数现有方法很少充分利用有助于恢复的中间特征图。为了解决这些问题，我们通过构建多连接通道注意模块（MCAB）的矩阵集合，提出了一个中等规模的SISR网络，称为矩阵通道注意网络（MCAN）。为了满足各种实际需求，发布了几种不同尺寸的型号。可以从我们广泛的基准实验得出结论，即所提出的模型以更少的乘法加法和参数实现了更好的性能。

Introduction

讨论基于深度学习的SISR的大部分工作都致力于通过越来越深的层实现更高的峰值信号噪声比（PSNR），从而使其难以适应移动设备。在许多建议中，已经发布了适用于移动场景的架构CARN，但这是以降低PSNR为代价的。信息蒸馏网络（IDN）在中等规模的情况下也能实现良好的性能。还提出了一种通过神经体系结构搜索解决SISR的方法，在相同的FLOPS水平下，其网络FALSR超过CARN。尽管如此，在主观感知和PSNR之间仍然存在明显的差距，为此已经制定了一种称为感知指数（PI）的新措施。SRGAN和ESRGAN在感知性能上引人注目，它们在PSNR上表现不佳，但都提供了更多的高频细节。但是，这些基于GAN的方法不可避免地会带来实践中无法容忍的不良情况。 我们的工作仍集中在改善PSNR，这是一种公认的失真度量。 此外，我们提出的模型还可以用作基于GAN的方法的生成器。

为了在性能和适用性之间寻求更好的折衷，我们设计了一种称为矩阵通道注意网络的体系结构。我们将其基本构建模块命名为多连接通道注意模块（MCAB），它是RCAN的残余通道注意模块（RCAB）的改编。MCAB与RCAB的不同之处在于，每次激活后都允许分层连接，因此，可以在深度和广度上传递多层信息。

总而言之，我们的主要贡献如下：

• 我们提出了一个名为MCAN for SISR的矩阵通道注意力网络。 它具有更高的PSNR并在轻量级范围内实现了state-of-the-art；
• 我们引入了一个多连接通道注意模块来构建矩阵通道注意单元（MCAC），该模块充分利用了分层特征图。 然后，我们使用MCAC来构建矩阵矩阵（MIM），该结构充当非线性映射模块；
• 我们设计了一种边缘特征融合（EFF）块，可以与提出的MIM结构结合使用。 EFF可以更好地从LR空间中获得MIM的分层特征图；
• 我们建立了三个额外的高效SR模型，分别是MCAN-M，MCAN-S，MCAN-T，它们分别是移动，小型和微型的缩写。实验证明，这三个模型均优于相同或更大尺寸的最新模型；
• 我们最终提出了MCAN-FAST，以克服某些移动设备上的Sigmoid函数效率低下的问题。 实验表明，与MCAN相比，MCAN-FAST的精度损失很小。

Matrixed Channel Attention Network

Network Structure

MCAN由四个部分组成：特征提取（FE），矩阵矩阵（MIM）映射，边缘特征融合（EFF）和重构，如下图所示。

Matrix in Matrix

MIM块包含D = 3个矩阵通道注意单元（MCAC）。 单个MCAC也是M = 3个MCAB的序列。第d个MCAC将中间特征图中继到下一个MCAC。实际上，每个MCAC包含K = 3个heads，这些heads被馈送到下一个MCAC的不同部分。 我们将$F_d$递归定义为MCAC的输出。

Matrixed Channel Attention Cell

在超分辨率下，跳越连接很受欢迎，因为它可以重用中间特征图，并且降低深层网络训练的难度。但是，模块之间的这些跳越连接是点对点的，其中仅模块的输出特征图可以重用，从而丢失了许多模块的中间特征图。可以通过在模块内添加跳越连接来缓解这种情况，但是随着更多中间特征的连接，通道在融合之前变得非常厚，从而缩小了信息和梯度的传输范围。

如果我们像SRDenseNet那样紧密地连接所有中间特征和模块，则不可避免地会为不太重要的特征引入冗余连接，而重要的特征则变得难以区分并增加了训练难度。

为了解决这些问题，我们提出了一个矩阵通道注意力单元，它由几个多连接的通道注意力模块组成。