Residual Dense Network for Image Super-Resolution

论文地址：https://arxiv.org/pdf/1802.08797v2.pdf
代码地址：https://github.com/lizhengwei1992/ResidualDenseNetwork-Pytorch
  一个非常深的卷积神经网络（CNN）最近在图像超分辨率（SR）方面取得了巨大的成功，并且也提供了分层特征。然而，大多数基于CNN的深度神经网络模型并没有充分利用原始低分辨率（LR）图像的分层特征，因此性能相对较低。在本文中，我们提出了一种新的残余密集网络（RDN）来解决SR中的这个问题。我们充分利用了所有卷积层的层次特征。具体来说，我们提出了残差密集块（RDB）来通过密集连接卷积层提取丰富的局部特征。 RDB还允许从前一个RDB的状态直接连接到当前RDB的所有层，从而形成连续的内存（CM）机制。 RDB中的局部特征融合用于自适应地从先前和当前局部特征中学习更有效的特征，并稳定更广泛的网络的训练。我们利用全局特征融合技术，以全局的方式共同自适应地学习全局分层特征。对具有不同降级模型的基准数据集进行广泛的实验表明，我们的RDN与最先进的方法相比取得了良好的性能。

1. Introduction

  其中，Dong 等人 [2] 首先将一个三层卷积神经网络（CNN）引入到图像 SR 中，与传统方法相比，此方法有了明显的改进。Kim 等人通过使用梯度截断（gradient clipping）、跳过连接（skip connection）或递归监督（recursive-supervision）来降低训练深度网络的难度。通过使用有效的构建模块，图像 SR 的网络变得更深，性能变得更好。Lim 等人使用残差块（图 1（a））构建了一个非常大的有残差缩放（residual scaling）[23] 的网络 EDSR [16] 和一个非常深的网络 MDSR [16]。Tai 等人提出通过记忆块构建 MemNet [25]。随着网络变深，每个卷积层中的特征将具有不同层级的感受野。然而，这些方法忽略了充分利用每个卷积层的信息。尽管提出的记忆块中的门控单元是控制短期记忆 [25] 的，但局部卷积层不能直接访问后续层，所以很难说记忆块充分利用了其内部所有层的信息.
  MemNet将原始的LR图像插入所需的大小以形成输入。该处理步骤不仅增加了二次计算的复杂性，而且也丢失了原始LR图像的一些细节。Tong et al.引入了致密块(图1(b))，对图像SR的增长率相对较低根据我们的实验(见第5.2节)，较高的增长率可以进一步提高网络的性能。然而，用密集的块来训练更广泛的网络是很难的.
  RDB包括紧密连接层和局部特征融合(LFF)和局部剩余学习(LRL)。一个RDB的输出可以直接访问下一个RDB的每个层，从而产生一个连续的状态传递。RDB中的每个卷积层都可以访问所有后续层，并传递需要保存的信息。
  LFF通过稳定更宽网络的训练，使增长率非常高。在提取多层次的局部密集特征后，我们进一步进行全局特征融合(GFF)，以全局的方式自适应地保留层次特征。

• 我们提出了一个统一的框架，它通过不同的退化模型（degradation models）使用残差密集网络生成高质量的超分辨率图像，网络充分利用原始低分辨率图像的所有分层特征。
• 我们提出了残差密集块（RDB），它不仅可以通过连续记忆（CM）机制从前一个 RDB 读取状态，还可以通过局部密集连接充分利用其中的所有层。然后通过局部特征融合（LFF）自适应地保留累积的特征。
• 我们提出了全局特征融合以自适应地融合 LR 空间中所有 RDB 的分层特征。利用全局残差学习，我们将浅层特征和深层特征结合在一起，从原始 LR 图像中得到全局密集特征。

3. Residual Dense Network for Image SR

3.1. Network Structure

  如图 2 所示，我们的 RDN 主要包含四部分：浅层特征提取网络（SFENet）、残差密集块（RDBs）、密集特征融合（DFF）以及上采样网络（UPNet）。我们将 ILR 和 ISR 表示为 RDN 的输入和输出，具体来说，我们使用两个 Conv 层来提取浅层特征。

conv1

conv2

H_RDB,d是复合函数操作，有卷积核Relu组成，F_d是局部特征，使用RDB提取完分层特征后，引导密集特征融合，包括GFF和GRL,DFF充分利用先前所有层的特征

3.2. Residual Dense Block

  第d个RDB的第C个卷积层的输出可以表示如下：

[F d−1 ,F d,1 ,··· ,F d,c−1 ]是第（d-1）个RDB产生的feature map连接，卷积层1，.....（c-1）在第d个RDB，会产生G0+(c-1)x Gfeature map.最后的1 x 1卷积层是为了控制输出信息。

3.3. Dense Feature Fusion

4. Discussions

  与DenseNet的不同：删除了批量(BN)层，这些层与卷积层消耗相同数量的GPU内存，增加了计算复杂度，并阻碍了网络的性能。我们还删除池化层，它可以丢弃一些像素级的信息。此外，过渡层被放置在DenseNet的两个相邻的致密块中。而在RDN中，我们将密集连通层与局部特征融合(local feature fusion, LFF)结合起来，采用局部残差学习(local resid-ual learning)，这将被证明是有效的

Conclusion

  在本文中，我们为图像SR提出了非常深的残差密集网络（RDN），其中残差密集块（RDB）作为基本构建模块。在每个RDB中，每个层之间的密集连接允许完全使用本地层。局部特征融合（LFF）不仅能够稳定训练更广泛的网络，而且能够自适应地控制当前和之前RDB的信息保存。 RDB还允许前面的RDB和当前块的每一层之间的直接连接，导致连续的记忆（CM）机制。当地的残留学习（LRL）进一步改善了信息流和梯度。此外，我们提出全局特征融合（GFF）来提取LR空间中的分层特征。通过充分利用局部和全局特征，我们的RDN导致密集的特征融合和深度监督。我们使用相同的RDN结构来处理三种降级模型和实际数据。广泛的基准评估很好地证明了我们的RDN实现了优于最先进方法的优势。