【MFEN：轻量级多尺度特征提取：SR网络】

MFEN: Lightweight multi-scale feature extraction super-resolution network in embedded system

（MFEN：嵌入式轻量级多尺度特征提取超分辨率网络）

深度卷积神经网络（CNN）在超分辨率（SR）方面取得了显著的成绩。然而，基于深度神经网络的方法由于计算量大、内存消耗大，很难应用于嵌入式便携设备。针对上述问题，通过构造多尺度特征提取块（multi-scale feature extraction blocks (MFEB)），提出了一种有效的轻量级多尺度特征提取超分辨率网络（multi-scale feature extraction super-resolution network (MFEN)），逐步获取多尺度和层次信息。此外，我们还提出了一种有效的渐进特征融合（progressive feature fusion (PFF)）策略来聚合多尺度信息特征。在基准数据集上的定性和定量评价结果表明，该方法的性能优于大多数现有方法.此外，MFEN算法的计算复杂度和运行时间显著降低，为嵌入式设备的实时图像处理技术提供了便利。

介绍

单幅图像超分辨率（SISR）是指从原始的低分辨率（LR）图像重建出相应的高分辨率（HR）图像。它是病态的，因为相同的LR图像对应于多个HR图像。超分辨率技术在嵌入式系统、监控、医疗诊断等领域具有重要的应用价值，是一个值得深入研究的领域。
近年来，深度卷积神经网络（CNN）方法在SR重构中取得了显著的效果，这些方法证实了深度卷积神经网络具有更好的重构性能。因此，各种SR网络试图建立更深的网络以获得更好的重建图像。尽管大多数深度SR网络取得了突出的性能，但由于其计算量巨大和过程复杂而无法用于实际应用。因此，发展轻量级网络是非常必的。
在已有的轻量级CNN研究中，LapSRN将拉普拉斯金字塔结构引入到超分辨率网络中。MemNet建立了一个端到端的持久内存模型。采用跳连接的方式来降低整个网络的权重。CARN采用递归级联机制来集成不同层的功能。它可以通过共享参数使网络更有效。IDN引入了一种信息提取机制网络，利用多个堆叠的信息提取块直接从原始LR图像重建HR图像。虽然这些方法可以减少SR网络的参数，但在计算复杂度和模型性能上仍有改进的空间。
为了改进现有的模型，我们设计了一个高效的轻量级SR网络。受人工压缩和设计模型思想的启发，提出了一种轻量级多尺度特征提取网络（MFEN）。不同于以往大多数SR网络采用固定尺度提取图像特征，本文设计了一个多尺度特征提取模块（MFEB）来获取多尺度信息。具体而言，该块从不同比例提取包含更详细信息的特征。然而，多尺度特征提取的操作通常会增加参数和计算复杂度。此外，如图1所示，我们发现同一层的特征具有很大的相似性。在所有通道的卷积运算中存在冗余。将提取出的浅层特征分为三部分进行不同尺度的操作，设计出更加轻量化的模型。结果，我们从不同的输入通道获得了三个特征类别。有必要考虑一种合适的融合策略来控制信息流。

贡献

1）为了实现快速的图像超分辨率，我们设计了一种轻量级的多尺度特征提取块（MFEB）网络MFEN。在每个MFEB中，所有特征通道被分成三部分，分别送入具有不同核函数的卷积层，以获得多尺度信息。该网络能在有效保留图像特征的同时重建出更好的HR图像。
2）为了有效地融合不同尺度下的特征，提出了一种渐进式特征融合（PFF）策略.相同的规模特点是逐步集成利用级联和通道洗牌层。该策略可以有效地混合不同信道间的信息。
3）为了更加轻量级，我们还在MFEN的基础上提出了一个更简单的网络MFEN_S。在该网络中，MFEB中的分裂操作的数目减少到3，而网络宽度保持不变。实验结果表明，这种简单的网络也能获得性能提升。

相关工作

Deep super-resolution models

近年来，基于深度神经网络的模型在SR。Dong等人取得了显著的成果，Dong等人首先将深度学习引入到超分辨率中，该方法应用三层卷积直接得到LR到HR的映射。VDSR利用20层CNN结构来构建深度模型。采用残差学习的方法来降低训练难度。DRCN和DRRN 通过共享权重减少了参数数量。SAN提出了一种二阶注意机制，用于更有效地聚合特征。SRFBN充分利用了反馈机制，以较少的参数提高了重构能力。Meta-SR引入了元学习的思想，这是第一次尝试仅通过单个模型来实现对LR的任意尺度的上采样。端到端可训练USRNet提供了一种弥合传统和深度学习模型之间差距的方法。UDVD 为变分退化引入了统一的动态卷积。它可以适应图像之间的变化（跨图像变化）和图像内的变化（空间变化）。虽然这些深度SR网络可以获得显著的重构结果，但是它们带来了计算复杂度和存储器存储成本。

Lightweight super-resolution models

深度学习模型由于计算量大，无法应用于实际应用。于是简单高效的轻量级模型成为一种发展趋势。有三种方法可以简化神经网络：压缩模型、人工设计网络和基于神经结构搜索（NAS）的自动设计。就压缩模型方式而言，主要是使权重最小化。Han等人提出了模型压缩技术，包括修剪、量化和知识提取。在SR字段中，DRCN 和DRRN 分别共享卷积层和残差结构中的参数以压缩模型。知识蒸馏使用小型网络来模拟大型网络的性能。人工设计网络方式主要集中在设计更高效的架构上。人工设计的轻量级网络通过去除不必要的操作或引入更有效的卷积操作来构造更有效的结构。它可以保持与深度神经网络相同的优良性能。对于基于神经结构搜索（NAS）的自动设计方式，Google首先设计了NAS的思路，即利用一定的搜索策略从搜索空间中选择一个模型，然后对该模型的效果进行评估。FALSR将NAS引入SR领域以获得优异的性能。通过将NAS与修剪搜索相结合，开发了用于实时SR的自动搜索框架。虽然这些方法可以降低SR网络的复杂度和参数，但仍有一些问题值得进一步研究。

方法

随着网络的不断深入，大多数方法忽略了网络对多尺度信息的适应性。在该网络中，我们设计了一种基于多尺度特征提取的轻量级网络，以更好地利用多尺度信息。首先，利用通道分裂将特征图分成三个分支，得到不同尺度的特征信息。然后，我们应用多层卷积层来获得层次特征。最后，提出了PFF策略来聚合多尺度、多层次的特征，最大限度地提高了提取特征的利用率。与现有的网络相比，我们设计的网络减少了便携式设备和实时图像处理中的参数和运行时间。

Basic network structure

大多数神经网络选择通过叠加具有固定卷积核大小的卷积层来加深网络层，以获得更有说服力的信息。由于多尺度特征和层次特征对HR重建工作同样重要，我们提出了一种多尺度特征提取网络。在本节中，我们详细描述了所设计的结构。如图2所示，我们的MFEN包含三个组件：浅层特征提取、堆叠的多尺度特征提取块(MFEB)和重建模块。
具体地，将输入LR图像发送到3 × 3卷积层以获得浅特征：

其中表示浅层特征，₀(·)是特征提取函数。我们设计了一个具有堆叠的M个MFEB的多尺度特征提取模块。前一个块的输出被发送到下一个块。通过这种方式，特征被依次转移，其可以被公式化为：
其中是第M个模块的输出。(·)表示第k个MFEB函数(k = 1，2，…，M)。最后，将其发送到最后一个重建模块。在上采样之后，获得最终SR图像：
我们利用L1损耗函数来优化网络。LR和对应的地面实况（ground truth (GT)）图像被分别划分为N个块。损失函数可表示为：

Multi-scale feature extraction block

在多尺度上表示特征有助于重构局部信息和上下文信息。以往的网络大多同时提取所有特征，使得重建过程中信息丢失。考虑到利用多尺度提取可以在去除特征单一性的同时获得丰富的层次特征，提出了多尺度特征提取算法MFEB。MFEB的特殊性在于提取操作是在不同的特征通道中独立进行的。如图3所示，我们提出的MFEB执行四个渐进通道分割操作以获得多尺度信息，同时减少参数和计算。MFEN_S中有三次。每一步将输入特征按一定比例分为三个提取部分：低尺度、中尺度、高尺度的信息提取渠道。在验证实验中获得该分流比。

给定浅层特征提取模块的输出，其被发送到第一分裂操作。这个过程可以描述为：
最后，将得到的多尺度聚合特征送入1 × 1卷积层，保证块的输入和输出通道一致。最后，使用注意机制层，可以更好地抑制无用信息，以获得更好的结果：

其中A(⋅)表示挤压和激励（SE）块。 分别表示多尺度特征融合的结果和最终块的输出。

Feature fusion strategy

标准的特征融合方法直接将不同尺度的特征进行融合，称为直接特征融合(DFF)。一般来说，它往往导致充分信息的丢失和无效信息的重叠。同时，我们还考虑了组特征融合（GFF）方法，将相同尺度的特征作为同一组进行融合。该融合方法比DFF方法具有更好的融合效果。通过GFF，我们得到了三种不同的融合特征，这三种特征都不利于重建单幅图像。提出一种渐进特征融合（PFF）方法来有效地融合层次和多尺度特征。具体地，在第二分割操作之后，融合从第一分割和第二分割获得的相同比例的特征。然后，将结果与从第三分离获得的特征融合。以此类推，得到最终的融合特征。对于给定的不同尺度的提取特征、和，融合过程可以在数学上写为：

其中，分别表示不同尺度下的级联和信道混洗后的融合特征。下标t是MFEB中的第t次卷积运算（t = 2，3，…，T）。
最后的融合运算公式为：

其中是最终融合结果，我们在MFEN中设置T等于4，在MFEN_S中设置T等于3。实验结果表明，PFF能够充分利用提取的特征信息。图4显示了不同的特异性融合策略。

实验

略