SR文献学习之《Image Super-Resolution Using Very Deep Residual Channel Attention Networks》

RCAN模型–《Image Super-Resolution Using Very Deep Residual Channel Attention Networks》

当前SR研究存在的问题：在图像超分辨领域，卷积神经网络的深度非常重要，但过深的网络却难以训练。低分辨率的输入以及特征包含丰富的低频信息，但却在通道间被平等对待，因此阻碍了ＣＮＮ网络的表示能力。（原因： CNN 平等对待特征的每一个通道，这无疑缺少处理不同类型信息的灵活度。图像超分辨是为了尽可能多地恢复高频信息，而低分辨率的图片却包含着许多可以直接被传播到输出的低频信息，因此，特征的所有通道如果被平等对待则会使网络缺乏辨别学习能力。）

论文解决思路：为了解决上述问题，作者提出了一个极深残差通道注意力网络（RCAN），获得非常深的可训练网络，并同时自适应地学习更有用的信道特性。特别地，作者设计了一个残差（RIR）结构来构造深层网络，每个 RIR 结构由数个残差组（RG）以及长跳跃连接（LSC）组成，每个 RG 则包含一些由短跳跃连接（SSC）组成的残差块。RIR 结构允许丰富的低频信息通过多个跳跃连接直接进行传播，使主网络专注于学习高频信息。此外，我们还提出了一种信道注意力机制（CA），通过考虑通道之间的相互依赖性来自适应地重新调整信道特征。

思路总结：为了简化较深模型的训练过程，作者提出了一个 RIR（Residual In Residual）架构，其中 残差组RG（Residual Group）作为基本模块，长跳跃连接LSC（Long Skip Connection）则用来进行粗略的残差学习，在每个残差组 RG 内部则使用的短跳跃连接SSC（Short Skip Connection）叠加数个简单的残差块。LSC、SSC 和残差块内部的短连接可以允许丰富的低频信息直接通过恒等映射向后传播，这可以保证信息的流动，加速网络的训练。进一步，作者提出了通道注意力（Channel Attention）机制，通过对特征通道之间的相互依赖性建模来自适应地重新缩放每个通道的特征。实验证明，这种机制允许网络专注于更有用的信道并增强辨别学习能力。

1.RCAN模型结构与工作流程

模型明显由四部分组成：①浅层特征提取；
　　　　　　　　　　　②RIR深层特征提取；
　　　　　　　　　　　③upscale模块；
　　　　　　　　　　　④重建部分。
模型工作流程：
模型将LR图像作为输入，SR图像作为输出。
第①步：模型使用一个卷积层，经过卷积运算，从输入中提取浅层特征；
第②步：将放入RIR模块中进行深度特征提取，得到深度特征；
第③步：使用upscale模块对深度特征进行升级，得到高级特征；
（PS:到这步才进行特征升级的方法也被称为后拓展策略，比传统SR方法更有效。而且，upscale模块有多种选择，例如：deconvolution layer；nearest-neighbor upsampling +convolution;ESPCN; …）
第④步：使用一个卷积层对高级特征进行重建，得到SR图像
（最后使用损失函数对SCAN进行优化，随机梯度下降法优化损失函数。）
——————————————————————————————
1.1 RIR结构：
①部分非常容易理解，下面我们详细分析第②部分RIR的结构：（已经有文献证明，RCAB和LSC能够被用于构建深层CNN（＞400 layer）；）

在视觉识别领域，使用残差模块堆叠来构建超过1000层的模型都是很常见的，但是在SR领域，模型却面临着训练困难的问题。本文作者受SRRestNet以及EDSR模型的启发，将残差模块作为深层网络中的一个基础模块，来构建模型。

LSC作用：LSC不仅简化了RGS之间的信息流，而且使RIR能够在粗层次上学习剩余信息。
——————————————————————————————
1.2 信道注意力（Channel Attention,CA）
如何为每个通道的特征产生不同的注意力？
我们使用全局平均池将信道上的全局空间信息转化为信道描述符。

设X=[x1，···，··，XC]为输入，共有C个特征，且尺寸为H×W。如上图所示，输入是一个 H×W×C 的特征。
Step1.我们进行一个空间的全局平均池化得到一个 1×1×C 的通道描述。是全局池化函数。
Step2.经过一个下采样层和一个上采样层得到每一个通道的权重系数。其中，下采样和上采样层都利用 1×1 的卷积来实现，下采样层的通道数减少 r 倍，激活函数为 Relu，上采样层的激活函数f为 Sigmoid。在论文中，作者采用的通道数 C=64，r = 16。
Step3.将权重系数和原来的特征相乘即可得到缩放后的新特征。

！整个过程实际上就是对不同通道的特征重新进行了加权分配。
——————————————————————————————
1.3 残余通道注意力模块（residual channel attention bolck,RCAB）

RCAB 就是将 CA 和残差思想融合在一起。
输入一个特征 input，我们首先进行一个[卷积–Relu–卷积]操作得到F，然后F再经过一个 CA 模块进行重新缩放得到x，最后将x和input相加得到输出特征。其中，卷积操作都采用 3×3 的卷积核。
——————————————————————————————

2.实验配置

本论文中，RCAB 的实现配置如下：

①RIR结构中，RG的数量有10个；每个RG中有20个RCAB模块；
②除了CA处理中上采样和下采样卷积层的卷积核为1x1，其余全部为3x3；
③upscale模块采用的是ＥＳＰＣＮＮ
④最后的卷积层有三个滤波器，因为我们要输出彩色图像。

3.实验结果：

可以看到，如果移除 LSC 和 SSC 的话，无论有没有引入 CA 实验结果都很差，而添加这些跳跃连接后，模型的整体性能都会有所提升，说明 LSC 和 SSC 非常有效。同时，在同样的条件下，引入 CA 后模型性能也有所提升，验证了注意力机制的有效性。
　　在几个数据集上的测试结果，也表明 RCAN 取得了比以往方法更好的效果。如果采用几个模型集成的话，效果还能再提升，如上面 RCAN+ 所示。
根据得到的超分辨效果图，可以看到 RCAN 恢复出了更多的细节和纹理