Accurate Image Super-Resolution Using Very Deep Convolutional Networks

Accurate Image Super-Resolution Using Very Deep Convolutional Networks

摘要

  我们提出了一种高精度的单图像超分辨率（SR）方法。我们的方法使用了一个非常深的卷积网络，灵感来自于用于ImageNet分类的VGG网络。我们发现网络深度的增加可以使得精度的显著提高。 我们的最终模型使用20层。通过在深层网络结构中多次级联小型过滤器，可以有效地利用大型图像区域上的上下文信息。然而在非常深的网络中，收敛速度成为训练中的关键问题。我们提出一个简单而有效的训练程序。我们仅学习残差，使用极高的学习率（比SRCNN 高出104倍），通过可调梯度裁剪实现。

介绍

  我们解决了给定低分辨率（LR）图像生成高分辨率（HR）图像的问题，通常称为单图像超分辨率重建（SISR）。SISR广泛应用于计算机视觉应用，从安全和监控成像到医疗影像（需要更多的图像细节）。

 在计算机视觉领域已经研究了许多SISR方法。早期方法包括插值，例如双三次插值和基于统计图像先验或内部块复现信息的更强大的方法。

  目前，学习方法被广泛用于建模从LR到HR的映射。邻域嵌入，图像块子空间内插方法。 稀疏编码方法使用基于稀疏信号表示的学习紧致字典.最近的随机森林和卷积神经网络（CNN）也被广泛使用且精度大幅提高。

 其中，Dong等 已经证明，CNN可以用于以端到端的方式学习从LR到HR的映射。他们的方法称为SRCNN，不需要任何其他方法中通常需要的工程特征，并显示出最先进的性能。

 SRCNN在超分辨率（SR）问题中成功地引入了深入的学习技术，但在三个方面有局限性：第一，它依赖于小图像区域的上下文; 第二，训练收敛太慢; 第三，网络只适用于一个采样scale。即：

 训练层数少，没有足够的视野域；

  训练太慢，导致没有在深层网络上得到好的效果；

  不能支持多种倍数的高清化。

方法贡献

  针对上述问题，论文算法提出了采用更深的网络模型。主要贡献：基于残差的深度CNN结构。该结构使用残差连接将低清图像与CNN的输出相加得到高清图像即仅用CNN结构学习低清图像中缺乏的高清细节部分。并用三种技术解决了SRCNN算法的问题。

第一种技术是残差学习，CNN是端到端的学习，如果像SRCNN方法那样直接学习，那么CNN需要保存图像的所有信息，需要在恢复高清细节的同时记住所有的低分辨率图像的信息。如此，网络中的每一层都需要存储所有的图像信息，这就导致了信息过载，使得网络对梯度十分敏感，容易造成梯度消失或梯度爆炸等现象。而图像超清问题中，CNN的输入图像和输出图像中的信息很大一部分是共享的（共享同样的低频信息，一个高分辨率图像可以分解为低频信息（低分辨率图像）和高频信息（残差图像或者高频信息）），所以提出了一种当输入和输出高度相关时的有效学习的网络结构。而残差学习是只针对图像高清细节信息进行学习的算法。CNN的输出加上原始的低分辨率图像得到高分辨率图像，即CNN学习到的是高分辨率图像和低分辨率图像的差。如此，CNN承载的信息量小，更容易收敛的同时还可以达到比非残差网络更好的效果。高清图像之所以能够和低清图像做加减法，是因为，在数据预处理时，将低清图像使用插值法缩放到与高清图像同等大小。于是虽然图像被称之为低清，但其实图像大小与高清图像是一致的。

第二种技术是高学习率，网络越深、卷积核尺寸大小固定、感受野越大，表示输出时，可以利用的局部信息越多。但是SRCNN层数越高，性能并未提升，因为收敛困难或者有的滤波器没有被激活，SRCNN网络加深到20层，则很难收敛，若学习率设置小，收敛太慢，若在CNN中设置高学习率通常会导致梯度爆炸，因而在使用高学习率的同时还使用了自适应梯度截断。截断区间为[-θ/γ, θ/γ]，其中γ为当前学习率，θ是常数。

第三种技术是数据混合，最理想化的算法是为每一种倍数分别训练一个模型，但这样极为消耗资源。因而，同之前的算法不同，本技术将不同倍数的数据集混合在一起训练得到一个模型，从而支持多种倍数（任意的）的高清化，在多种下采样因子的情况下参数是共享的。

训练的目标函数

    

     r = y − x, where most values are likely to be zero or small.我们的损耗层需要三个输入：残差估计，网络输入（ILR图像）和真实原始HR图像。损失计算为重建图像（网络输入和输出的总和）与原始HR图像之间的欧几里德距离。

参考：

http://geek.csdn.net/news/detail/192948