CVPR2020-RFANet-图像超分辨率新网络 | Residual Feature Aggregation Network for Image Super-Resolution

创新点都比较小，提升也很小，有种炒冷饭的感觉…
论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Liu_Residual_Feature_Aggregation_Network_for_Image_Super-Resolution_CVPR_2020_paper.pdf

Abstract：

最近，深度卷积神经网络（CNN）在单图像超分辨率（SISR）中显示了强大的功能，并且相对于传统方法取得了显着改进。在这些基于CNN的方法中，残差连接在提高网络性能方面起着至关重要的作用。随着网络深度的增加，残差特征逐渐集中于输入图像的不同方面，这对于重建空间细节非常有用。但是，现有方法忽略了充分利用残差分支上的分层特征。为了解决此问题，我们提出了一种新颖的残差特征聚合（RFA）框架，用于更有效的特征提取。 RFA框架将几个残差模块分组在一起，并通过添加跳跃连接直接在每个局部残差分支上传播特征。因此，RFA框架能够整合这些有用的残差特征以产生更具代表性的特征。为了最大化RFA框架的功能，我们进一步提出了增强的空间注意力（ESA）块，以使残差特征更加集中于关键的空间内容。 ESA模块设计为轻巧高效。我们的最终RFANet是通过将建议的RFA框架与ESA模块一起应用而构建的。全面的实验证明了我们RFA框架的必要性以及RFANet相对于最新SISR方法的优越性。

Introduction：

如图1（a）所示，以往方法都是基于残差模块的堆叠，只利用了复杂的深度特征，而没有利用好各层级的局部特征。本文针对以上问题，提出残差特征聚合RFA模块，充分利用局部特征，具体如图1（b）。

此外，本文新提出了一个增强型空间注意力ESA模块。用于解决以往注意力机制的两个问题：
1）简单的Spatial Attention模块，首先功能不够强大。其次，缺乏图像SR任务中必不可少的大的感受野范围；
2）Non-Local模块虽然功能强大，但是其计算复杂度太高。

总结，本文的主要贡献：
1）提出了通用的残差特征聚合（RFA）框架，以实现更准确的图像SR。 全面的消融研究表明，残差网络和密集网络的性能都可以得到实质性的改善；

2）提出了增强的空间注意（ESA）块，以根据空间上下文自适应地重新缩放要素。 ESA块使网络可以学习更多区分功能。 此外，它比普通的空间关注块轻巧并且具有更好的性能；

3）提出了一种残差特征聚合网络（RFANet），该网络是通过将所提出的RFA框架与功能强大的ESA模块相结合而构建的。 由于增强了空间注意力机制，RFA框架可以聚合更多具有代表性的功能，从而生成更准确的SR结果。

Methodology：

整个SR网络结构如上图所示，与以往结构基本相同，主要关注T个Base Module的创新。

A.Residual Feature Aggregation Framework（RFA）

RB：残差模块。
RFA：就是4个RB模块输出进行密集连接，得到拼接特征后接一个1x1卷积先进行融合。

B.Enhanced Spatial Attention Block（ESA）

ESA模块设计准则：
1）注意力模块必须足够轻量，因为它将被插入网络的每个残差模块中
2）为了使注意力区域很好地完成图像SR的任务，需要一个较大的感受野范围

如上图所示，具体操作为：
1）对输入使用1x1卷积降通道数

2）为了降特征空间尺寸和获得更大感受野范围，使用stride为2的卷积+2x2max pooling+Conv Gruops。其中Conv Groups由7x7max pooling与stride为3的卷积组成，为了进一步扩大感受野范围

3）对2）中特征进行上采样得到输入尺寸大小的特征，注意这里加了个跳跃连接

4）对3）中特征进行1x1卷积+Sigmoid函数，与输入点乘，得到ESA的输出特征

Experiments：

1.Ablation results：

2.Bicubic Degradation (BI)：优于SAN

3.Blur-downscale Degradation (BD)：优于SAN

4.Model Complexity Analysis：