【图像复原】RDN论文详解（Residual Dense Network for Image Restoration）

这是CVPR2018的一篇文章，提出了针对图像复原任务的CNN模型RDN(residual dense network)。

RDN主要是提出了网络结构RDB(residual dense blocks)，它本质上就是残差网络结构与密集网络结构的结合。

1.残差网络（resnet）与密集网络（densenet）

1.残差网络结构

• 残差网络结构：在输入与输出之间引入一个前向反馈的shortcut connection，这有点类似与电路中的“短路”，即所谓的identity mapping（恒等映射y=x）。原本的网络是学习输入到输出的映射H(x)，而残差网络学习的是F(x)=H(x)−x。
  残差学习有效缓解了随着网络深度增加引发的梯度消失的现象。使得提高网络深度，还能保持很好性能与效率。
  残差学习很适合做图像复原，因为低质图像与高质图像之间相似度很高，而他们的残差其实很稀疏，简单理解残差学习另网络需要学习的东西变少了。
  关于残差网络（resnet）的详解见我的另一篇文章：https://www.jianshu.com/p/11f1a979b384
  
  

  2.密集网络结构
• 相比resnet，densenet提出更激进的密集连接机制，即每个层都会接受前面所有层作为额外的输入。
  ResNet是每个层与前面的某层（一般2~3层）短路连接在一起，连接方式是通过元素相加；
  而DenseNet是每一层与前面所有层在channel维度上连接（concat）在一起，实现特征复用。
  密集连接有效缓解了梯度消失问题，加强特征传播，鼓励特征复用，减少了参数量。

2.RDN网络结构

3.图(a)为针对超分任务的RDN、图(b)为针对去噪任务的RDN

2.1 RDN包含四个模块

• Shallow feature extraction net（SFENet）表示前两个卷积层，用于提取浅层特征
• Residual dense blocks（RDBs）融合残差模块和密集模块，每个块还包含Local feature fusion 和Local residual learning
• Dense feature fusion（DFF）包含Global feature fusion 和Global residual learning 两部分
• Up-sampling net（UPNet）网络最后的上采样（超分任务需要）+卷积操作

2.2 RDB(residual dense block)

4.RDB的由来

RDB模块主要将残差模块residual block和dense block模块进行了整合，将两者集合起来，形成了residual dense block 。

5.RDB的结构

每一个RDB包含以下三个模块，如上图所示：

• Contiguous memory：将Fd-1、Fd,1 … Fd,c、Fd,C多层的特征都在channel这一维度串接（concat）起来。
• Local feature fusion：concat之后的1*1的卷积操作，主要用于多通道的特征融合，降维作用
• Local residual learning:：将Fd-1、Fd,LF的特征进行融合。

2.3 DFF(dense feature fusion)

6.针对去噪的RDN

如上图所示，所谓global residual learning和RDB中的local residual learning其实本质上没有不同，只不过一个是全局、一个是局部；但是有细节需要注意，global feature fusion和local feature fusion还是有不同的，因为在RDB中是每一层都接收到了之前所有层的特征，但是在RDB之外的global feature fusion只是把每一个RDB的特征串接起来。区别简单来说：全局的特征融合的短接用的更少，局部特征融合短接用的更多。

3.其他细节

• 除了local/global feature fusion中的1*1的卷积，所有卷积核都是3 * 3的，并且通过padding，保持每一层的特征图大小不变。
• 每一层的卷积核数量都是64。
• 应对超分的RDN比去噪的RDN多了一个上采样层，相反去噪的RDN多了一个从LQ图像到HQ图像的短接。如图3所示。

4. 超分网络性能对比图：

image.png

这张图来自其他论文，可见复原效果较好的网络，参数往往也很多，意味着模型的复杂度更高。