论文笔记(RDN)

5.RDN

1.研究背景:

大多数基于深度CNN的SR模型都没有充分利用原始低分辨率图像的层次特征,因此性能相对较低。

2.存在问题:

图像中的物体具有不同的比例、视角和纵横比。来自深度网络的层次特征将为重建提供更多线索。例如FSRCNN中的Conv层,SRResNet中的残差块和EDSR都以链式方式堆叠构建模块,都忽略了充分利用每个Conv层的信息,只采用LR空间中最后一个Conv层的CNN特征进行升级。

3.改进思索:

虽然存储块也从前面的存储块中获取信息作为输入,但多级特征并不从原始LR图像中提取。MemNet将原始LR图像插值到所需的大小后输入,该预处理步骤不仅使计算复杂度成倍增加,而且会丢失原始LR图像的一些细节。Tong等针对生长速率相对较低的图像SR引入了密集块。根据我们的实验,更高的增长率可以进一步提高网络的性能。然而,用密集的块很难训练更广泛的网络。

4.解决方案:

提出了残差密集网络(RDN),以充分利用原始LR图像中的所有分层特征。对于一个非常深度的网络来说,直接提取LR空间中每个卷积层的输出是困难和不切实际的。我们提出残差密集块(RDB)作为RDN的构建模块。

RDB由密集连接层和局部特征融合(LFF)和局部残差学习(LRL)组成。我们的RDB还支持RDB之间的相邻存储。一个RDB的输出可以直接访问下一个RDB的每一层,从而产生连续的状态传递。RDB中的每个卷积层都可以访问所有后续层,并传递需要保留的信息。LFF将当前RDB中的前一层和前一层状态连接起来,自适应保留信息,提取局部密集特征。此外,LFF通过稳定更广泛网络的训练,允许非常高的增长率。在提取多级局部密集特征后,进一步进行全局特征融合(GFF),以自适应地全局保存分层特征。

论文笔记(RDN)_第1张图片

浅特征提取(SFENet):使用两个Conv层来提取浅特征。

残差密集块(RDB):包含密集连接层、局部特征融合(LFF)和局部残差学习(LRL),从而形成了一种连续存储机制(CM)。连续存储机制是通过将前一层RDB的状态传递给当前RDB的每一层实现的。

局部特征融合(LFF):引入了1 × 1卷积层来自适应控制输出信息。

局部残差学习(LRL):可以进一步改善信息流,因为一个RDB中有多个卷积层。LRL还可以进一步提高网络表示能力,从而获得更好的性能。

论文笔记(RDN)_第2张图片
论文笔记(RDN)_第3张图片

密集特征融合(DFF):包括全局特征融合(GFF)和全局残差学习(GRL)。DFF充分利用了前面所有层的特性。RDB产生多层次的局部密集特征,这些特征被进一步自适应融合形成FGF,再经过全局残差学习,得到密集特征FDF。

上采样(UPNet):上采样层采用ESPCN提出的亚像素卷积层。

重建:通过一个卷积层实现。

5.成果对比:

与DenseNet:DenseNet广泛应用于高级计算机视觉任务,而RDN是为图像SR设计的。此外,去掉了BN层来提高运算速度降低计算复杂度和GPU内存的消耗,并去掉池化层来防止其将像素级的信息给去除掉。过渡层被放置在DenseNet中两个相邻的密集块中,而RDN通过使用局部残差学习将密集连接层与局部特征融合(LFF)结合起来。RDN采用全局特征融合来充分利用DenseNet中被忽略的层次特征。

与SRDenseNet:SRDenseNet直接引入了DenseNet中的基本稠密块。RDN通过改进提出残差密集块(RDB)。RDN使用全局特征融合(GFF)和全局残差学习来提取全局特征,RDB之间没有密集连接。SRDenseNet使用L2损失函数,RDN利用L1损失函数。

与MemNet:MemNet需要使用双三次插值后的LR作为输入,RDN直接用LR作为输入。MemNet中一个递归单元内的大多数层不接收来自其前一层或存储块的信息,RDN中的RDB的输出可以直接访问下一个RDB的每一层。MemNet无法从原始LR输入中完全提取出层次结构特征,RDN在用RDB提取局部密集特征后,进一步在LR空间中全局融合前几层的层次特征。

论文笔记(RDN)_第4张图片
论文笔记(RDN)_第5张图片

6.特点总结:

1.提出了一个统一的框架残差密集网络(RDN),用于不同退化模型的高质量图像SR,其充分利用了原始LR图像的所有层次特征。

2. 提出了残差密集块(RDB),它不仅可以通过连续存储机制(CM)从前面的RDB中读取状态,还可以通过局部密集连接充分利用其中的所有层。然后通过局部特征融合(LFF)自适应地保存累积的特征。

3. 全局特征融合,以自适应地融合LR空间中所有RDB的分层特征。通过全局残差学习,我们将浅特征和深特征结合在一起,从原始LR图像中得到全局密集特征。

4.对不同的下采样LR方式均表现出良好的性能。

5. 和经典DenseNet块相比,RDN中的Dense结构中去掉了BN层。

你可能感兴趣的:(论文阅读,深度学习,计算机视觉)