论文笔记(RDN)

5.RDN

1.研究背景：

大多数基于深度CNN的SR模型都没有充分利用原始低分辨率图像的层次特征，因此性能相对较低。

2.存在问题：

图像中的物体具有不同的比例、视角和纵横比。来自深度网络的层次特征将为重建提供更多线索。例如FSRCNN中的Conv层，SRResNet中的残差块和EDSR都以链式方式堆叠构建模块，都忽略了充分利用每个Conv层的信息，只采用LR空间中最后一个Conv层的CNN特征进行升级。

3.改进思索：

虽然存储块也从前面的存储块中获取信息作为输入，但多级特征并不从原始LR图像中提取。MemNet将原始LR图像插值到所需的大小后输入，该预处理步骤不仅使计算复杂度成倍增加，而且会丢失原始LR图像的一些细节。Tong等针对生长速率相对较低的图像SR引入了密集块。根据我们的实验，更高的增长率可以进一步提高网络的性能。然而，用密集的块很难训练更广泛的网络。

4.解决方案：

提出了残差密集网络(RDN)，以充分利用原始LR图像中的所有分层特征。对于一个非常深度的网络来说，直接提取LR空间中每个卷积层的输出是困难和不切实际的。我们提出残差密集块(RDB)作为RDN的构建模块。

RDB由密集连接层和局部特征融合(LFF)和局部残差学习(LRL)组成。我们的RDB还支持RDB之间的相邻存储。一个RDB的输出可以直接访问下一个RDB的每一层，从而产生连续的状态传递。RDB中的每个卷积层都可以访问所有后续层，并传递需要保留的信息。LFF将当前RDB中的前一层和前一层状态连接起来，自适应保留信息，提取局部密集特征。此外，LFF通过稳定更广泛网络的训练，允许非常高的增长率。在提取多级局部密集特征后，进一步进行全局特征融合(GFF)，以自适应地全局保存分层特征。

浅特征提取(SFENet)：使用两个Conv层来提取浅特征。

残差密集块(RDB)：包含密集连接层、局部特征融合(LFF)和局部残差学习（LRL），从而形成了一种连续存储机制(CM)。连续存储机制是通过将前一层RDB的状态传递给当前RDB的每一层实现的。

局部特征融合(LFF)：引入了1 × 1卷积层来自适应控制输出信息。

局部残差学习（LRL）：可以进一步改善信息流，因为一个RDB中有多个卷积层。LRL还可以进一步提高网络表示能力，从而获得更好的性能。

密集特征融合(DFF)：包括全局特征融合(GFF)和全局残差学习(GRL)。DFF充分利用了前面所有层的特性。RDB产生多层次的局部密集特征，这些特征被进一步自适应融合形成FGF，再经过全局残差学习，得到密集特征FDF。

上采样(UPNet)：上采样层采用ESPCN提出的亚像素卷积层。

重建：通过一个卷积层实现。

5.成果对比：

与DenseNet：DenseNet广泛应用于高级计算机视觉任务，而RDN是为图像SR设计的。此外，去掉了BN层来提高运算速度降低计算复杂度和GPU内存的消耗，并去掉池化层来防止其将像素级的信息给去除掉。过渡层被放置在DenseNet中两个相邻的密集块中，而RDN通过使用局部残差学习将密集连接层与局部特征融合(LFF)结合起来。RDN采用全局特征融合来充分利用DenseNet中被忽略的层次特征。

与SRDenseNet：SRDenseNet直接引入了DenseNet中的基本稠密块。RDN通过改进提出残差密集块(RDB)。RDN使用全局特征融合(GFF)和全局残差学习来提取全局特征，RDB之间没有密集连接。SRDenseNet使用L2损失函数，RDN利用L1损失函数。

与MemNet：MemNet需要使用双三次插值后的LR作为输入，RDN直接用LR作为输入。MemNet中一个递归单元内的大多数层不接收来自其前一层或存储块的信息，RDN中的RDB的输出可以直接访问下一个RDB的每一层。MemNet无法从原始LR输入中完全提取出层次结构特征，RDN在用RDB提取局部密集特征后，进一步在LR空间中全局融合前几层的层次特征。

6.特点总结：

1．提出了一个统一的框架残差密集网络(RDN)，用于不同退化模型的高质量图像SR，其充分利用了原始LR图像的所有层次特征。

2. 提出了残差密集块(RDB)，它不仅可以通过连续存储机制(CM)从前面的RDB中读取状态，还可以通过局部密集连接充分利用其中的所有层。然后通过局部特征融合(LFF)自适应地保存累积的特征。

3. 全局特征融合，以自适应地融合LR空间中所有RDB的分层特征。通过全局残差学习，我们将浅特征和深特征结合在一起，从原始LR图像中得到全局密集特征。

4.对不同的下采样LR方式均表现出良好的性能。

5. 和经典DenseNet块相比，RDN中的Dense结构中去掉了BN层。