图像超分辨之DBPN 读后总结

Deep Back-Projection Networks For Super-Resolution

原文用网盘分享：https://pan.baidu.com/s/1R_lv97JaPikNgJa6TKcjkQ， 提取码：g4u5
代码：https://github.com/alterzero/DBPN-caffe

本文是2018CVPR中一篇关于图像超分辨的论文，同时也是NTIRE2018在经典的bicubic 8倍放大赛道上的冠军。

主要思想

近几年，普遍用来进行图像超分辨率的网络结构主要有三种。

第一种：Predefined upsampling。预定义上采样，对低分辨率图像先进行插值操作，例如双三次插值，使得图像尺寸与目标图像尺寸一致，这是为了在低分辨率和高分辨率图像之间进行较好的非线性映射。但是，该操作可能会引入新的噪声，并且计算量较大。

第二种：Single upsampling。在最后一层进行上采用，直接对低分辨率图像做卷积操作，不进行插值操作，这样减少了计算量。但是无法学习到复杂的映射。

第三种：Progressive upsampling。渐进式上采样，类似于单个上采样的堆叠。本文提出了一种迭代上采样和下采样的网络结构，有点类似于传统的迭代算法。直观地看，是为了能够更深地挖掘低分辨率和高分辨率图像直接的相互依赖关系。

本文提出的深度反投影网络中有两个重要的模块：上投影单元和下投影单元。
两种投影单元的网络和数学描述如下所示 。




上投影单元中，将低分辨率图像先进行反卷积，上采样得到高分辨率特征图，将该高分辨率图进行卷积，下采样得到一个低分辨率特征图，再将得到的低分辨率特征图和一开始的低分辨率图像进行残差运算，把得到的残差值加入上采样层，进行反卷积产生高分辨率特征图，将此刻生成的高分辨率特征图和起初得到的高分辨率特征图相加得到最终的高分辨率特征图。
下采样单元的过程类比上投影单元。这些投影单元可以理解为自我纠正的过程，将投影误差提供给采样层，这样不断地迭代，来产生更优的解。

本文在去年提出的Dense网络的基础上，扩展了所提出的深度反投影网络。由于Dense网络被证明能缓解梯度消失问题，并且可以产生改进的特征、鼓励特征重用，本文提出了D-DBPN。
与Dense网络的不同的是，本文没有采用丢弃法和批数据规范，而是采用1×1卷积层作为特征池化和尺度缩小，这是为了避免丢失图像中的有用信息。稠密的投影单元如下所示。

在D-DBPN中，每个单元的输入是与之前所有单元输出的级联。如稠密上投影单元，将之前每个下投影单元产生的低分辨率特征图级联，作为进入稠密的上投影单元的输入。在进入投影单元之前，使用1×1卷积层来降低通道数。

整个D-DBPN的架构主要分为三个部分：初始特征提取，反向投影阶段和重构阶段。如下图所示。

初始特征提取阶段采用两个卷积层，先将低分辨率图像做最初的3×3卷积操作，接着进行1×1卷积操作。然后进入反向投影阶段，如果有T个阶段，则说明有T个up projection单元和T-1个down projection单元，并且每个单元中有三层。之后，将每个上投影单元生成的高分辨率特征图进行级联，用3×3卷积来重构出高分辨率图像。

本文的实验用caffe搭建，Matlab R2017a，在NVIDIA TITAN X GPUs运行，训练集采用了DIV2K，Flickr和ImageNet，和之前的291image相比大很多。

本文对于不同尺度的超分辨任务，设置的卷积核参数也不一样：
对于2×的任务，kernel=6* 6，stride= 2，padding =2；
对于4×的任务，kernel=8* 8，stride =4，padding =2；
对于8×的任务，kernel=12*12，stride =8，padding= 2。
例如，为了处理经典的双三次插值下采样SR问题，在图像放大8倍时，DBPN在投影单元中使用12×12的卷积层，八个步长和两个填补项，并且采用了19个投影单元（10个向上和9个向下投影单元）来生成 SR结果。

实验结果

从视觉效果和数值分析来看，放大4倍时，虽然我们的D-DBPN和之前的EDSR的PSNR和SSIM相比相差不大，甚至有低一点的，但从视觉看，我们的方法能更好重建出原图效果，更加接近原图特征。

在放大8倍时，无论从视觉效果还是数值表现来看，我们的方法都取得了较好的结果。即使PSNR和SSIM与之前的值相差不是很大，但从视觉上可以看出，图像重建效果很接近原图。

总结

DBPN主要思想认为以往的CNN方法中，从LR到SR是一个完全上采用的过程，这过程中没有完全处理好LR到SR的与HR之间的差异。在高倍放大下更为显著。所以DBPN提供了一个up-down的投影单元，希望通过迭代上下交替采样的纠正反馈机制，恢复更好的细节特征。论文中的结果以及本次NTIRE2018的结果可以看出DBPN在高倍放大下比LapSR、EDSR拥有更好的效果。