VDSR超分辨率

论文全名：Accurate Image Super-Resolution Using Very Deep Convolutional Networks

下载地址：https://pan.baidu.com/s/1ge2pCWF

code：https://github.com/huangzehao/caffe-vdsr

该论文利用残差学习，加深网络结构（20层），在图像的超分辨率上取得了较好的效果，20层的深度可以说是很大了，作者采取了残差学习，提高学习率来为梯度传输排除障碍，同时，输入图片的大小不一致，使得网络可以针对不同倍数的超分辨率操作，此外，作者还有一个小妙用，可以说是很巧妙，就是卷积后补0使得图像大小保持一致.

关于卷积补0，我在这里解释一下，

首先呢，卷积有个好处，就是提高较大的感受野，感受野就是视野的意思，图片预测，如果利用一个像素点去推断一个像素点，那么是做不好的，所以就要用卷积，卷积使得可以根据NXN个像素去推断目标像素值，图像处理中大家普遍认为像素之间是有相关性的，所以 根据更多的像素数据去推断目标像素，也是认为是一个提高效果的操作

如下图所示，一个5X5的图片利用3X3的卷积核 卷积2次 输出为1个1X1的像素，我们可以说，这个输出结果考虑到了5X5的像素信息，也就是感受野5X5

但是传统的卷积操作如上图所示，图片通过逐步卷积，图像大小也越来越小，一个很小的图，首先不适合一个很深的网络（这会要求输入图片的size很大），其次，如果采取传统的卷积操作，边界像素会因考虑的区域少，感受野小而导致结果较差，于是传统的做法是对卷积结果做一个裁剪，剪去边界区域，随之产生一个新的问题，裁剪后的图像（卷积后本来就很小了）变的更小，用论文原话来说就是：After cropping,the final image is too small to be visually pleasing.

于是，作者提出一个新的策略，就是每次卷积后，图像的size变小，但是，在下一次卷积前，对图像进行补0操作，恢复到原来大小，这样不仅解决了网络深度的问题，同时，实验证明对边界像素的预测结果也得到了提升。

创新点：

1.加深网络结构（20层）：更深的网络结构使得后面的网络层拥有更大的感受野，该文章采取3X3的卷积核，从而使得深度为D的网络，拥有(2D+1)X(2D+1)的感受野，从而可以根据更多的像素点去推断结果像素点

2.加深的网络结构为梯度传输带来了困难，采用残差学习，提高学习率，加快了收敛速度，同时采用调整梯度裁剪(Adjustable Gradient Clipping)

3.数据混合:将不同大小倍数的图像混合在一起训练，从而支持不同倍数的高清化

一图来说明就是：

作者最后的总结是：

一个很深的网络对图像的超分辨率是很必要的，很深的网络使得能够根据更多的像素即更大的区域来预测目标像素信息，其次，对于网络层次加深带来的梯度消失问题，可以通过残差学习和提高学习率结果，此外，残差学习加快了收敛速度

从结果上看，还是逃不出一句话：网络层次越深，结果越好

但是更深的结构为收敛和梯度传输带来困难 如何较好的解决此问题 才是关键