[CVPR论文阅读]RFAnet 解决SISR问题

[CVPR论文阅读]RFAnet 解决SISR问题

论文名称：Residual Feature Aggregation Network for Image Super-Resolution

论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Liu_Residual_Feature_Aggregation_Network_for_Image_Super-Resolution_CVPR_2020_paper.pdf

摘要

原文翻译：最近，深度卷积神经网络（CNN）在单图像超分辨率（SISR）中显示了强大的功能，并且相对于传统方法取得了显着改进。在这些基于CNN的方法中，残差连接在提高网络性能方面起着至关重要的作用。随着网络深度的增加，残差特征逐渐集中于输入图像的不同方面，这对于重建空间细节非常有用。但是，现有方法忽略了充分利用残差分支上的分层特征。为了解决此问题，我们提出了一种新颖的残差特征聚合（RFA）框架，用于更有效的特征提取。 RFA框架将几个残差模块分组在一起，并通过添加跳跃连接直接在每个局部残差分支上传播特征。因此，RFA框架能够整合这些有用的残差特征以产生更具代表性的特征。为了最大化RFA框架的功能，我们进一步提出了增强的空间注意力（ESA）块，以使残差特征更加集中于关键的空间内容。 ESA模块设计为轻巧高效。我们的最终RFANet是通过将建议的RFA框架与ESA模块一起应用而构建的。全面的实验证明了我们RFA框架的必要性以及RFANet相对于最新SISR方法的优越性。

总结：为了将传统的残差网络中的没能运用的层次信息运用起来，在传统残差网络基础上，为每一个局部残差模块添加了一个skip connection到最后一个残差模块，之后提出了ESA模块优化之前的增强注意力机制，插入到每个残差模块中，构成新网络

方法

残差模块的处理：

如图，在原有（a）的基础上进行了改进，目的是为了利用网络中残差模块的层次信息，构成了残差特征聚合模块（RFA）框架

ESA模块

ESA模块设计准则：
1）注意力模块必须足够轻量，因为它将被插入网络的每个残差模块中
2）为了使注意力区域很好地完成图像SR的任务，需要一个较大的感受野范围

如上图所示，具体操作为：
1）对输入使用1x1卷积降通道数

2）为了降特征空间尺寸和获得更大感受野范围，使用stride为2的卷积+2x2max pooling+Conv Gruops。其中Conv Groups由7x7max pooling与stride为3的卷积组成，为了进一步扩大感受野范围

3）对2）中特征进行上采样得到输入尺寸大小的特征，注意这里加了个跳跃连接

4）对3）中特征进行1x1卷积+Sigmoid函数，与输入点乘，得到ESA的输出特征

最终网络

除了红框中的部分以外，其余部分与原有网络结构类似，其中单个BM模块如下所示：（实验中，ESA模块应该是插入在残差模块中的，就像残差模块部分中说明的那张图片一样，每个RFA框架有4个残差模块，也就是有4个ESA模块）

RB：残差模块。
RFA：就是4个RB模块输出进行密集连接，得到拼接特征后接一个1x1卷积先进行融合。

实验

实验过程中Base Modules（BM）的数量设置为30个，对于卷积群使用的是3个3×3卷积。

实验结果如下：