VDSR论文阅读笔记

“Accurate Image Super-Resolution Using Very Deep Convolutional Networks”发表于CVPR 2016，并且是oral，文章的内容主要是分析了SRCNN方法局限性，提出了有效的改进方案。虽然是2016年较老的论文，但是提出解决问题的思路很巧妙，值得学习。

论文地址：https://arxiv.org/abs/1511.04587

简介

作者在introduction部分先是回顾了single image super-resolution (SISR)现有工作，指出Dong et al. [6]提出的SRCNN是首先使用CNN网络解决SISR问题的方法，并取得了state of the art的性能效果。但是，SRCNN存在3点局限性。
1.依赖较小的图像区域的内容
2.网络训练收敛较慢
3.网络只能解决单一尺度的图像超分辨率

VDSR提出新的方法来解决这些局限性：
1.深度网络使用大的感受野来获取图像上下文信息
2.网络进行残差学习，并且使用大的学习率，提高收敛速度。采用大学习率，容易遇到梯度消失和梯度爆炸（vanishing/exploding gradients）的问题，这里使用适度的梯度裁剪（adjustable gradient clipping）来抑制梯度问题的产生。
3.神经网络可以针对不同尺度进行图像超分辨率

最终的结果是，VDSR使用较SRCNN更深的网络，效果更好，收敛速度更快，并且可用于不同尺度的超分辨

网络结构

除了输入输出层，每个中间层都有64个3364的过滤器，每个过滤器卷积核大小33，通道数64，第一层是输入层，最后一层是输出层，仅使用一个33*64的过滤器用于图像重构，中间层使用padding技术，使每一层产生的feature map尺寸相同

残差学习

训练过程中，网络学习到的是ground-truth与经过插值之后的低分辨率率图像ILR之间的残差。最后的输出则为输入图像与网络预测的残差图像之和。

大学习率

训练过程中，设置大学习率，可以提高收敛速度，但是容易产生梯度消失或梯度爆炸问题。

梯度裁剪方法通常会用在训练RNN网络过程中，但直接用于CNN训练会有一定限制，通常的梯度裁剪策略是把梯度预先限制在[−θ, θ]范围内

为了最大化提高收敛速度，本文使用的梯度裁剪策略为：we clip the gradients to [−θ / γ , θ / γ ], where γ denotes the current learning rate

Multi-Scale

不同尺度的网络，有很多参数是可以公用的，这里训练了单一网络可以解决不同尺度的图像超分辨问题。

实验结果

通过实验结果，网络确实做到了“The Deeper, the Better”，使用残差学习，收敛速度提高并且性能提升。另外，文中给出了不同尺度训练下的图像超分辨效果。