Accurate Image Super-Resolution Using Very Deep Convolutional Networks笔记

摘要：

（1）网络结构深：a  significant  improvement  in  accuracy

         通过级联多层小的卷积核，上下文信息被高效利用

（2）深层网络存在的问题是收敛速度

采用学习残差和高的学习率

1.介绍

srcnn相对于传统学习方法，不需要设计典型特征，但是有3个问题：本文改善方法

（1）依赖于小区域的上下文信息（个人理解是由于网络层少，视野比较小） 深层网络

（2）训练收敛太慢 残差学习，且初始学习率为10的-4次方

（3）网络只适用于单尺度   假设用户在图像查看器中平滑放缩，我们不可能存储多个相关模型，因此本网络刻度通常是用户指定的，并且可以是整数和小数

此图乍一看上去效果很好，高了0.87····

2.相关工作中主要是srcnn

srcnn三阶段：提取补丁/表示---非线性映射---重建  空间滤波器尺寸分别为9 1 5

何凯明尝试了增加一两层网络，但是效果不好就放弃了，得出结论：深的网络性能不好

本篇文章采用非常深的网络，（41*41 vs 13*13）

高分辨率图像信息包括低分辨率信息和高低分辨率图像之间的残差信息

srcnn是直接先将低分辨率图片放大到和高分辨率图像尺寸一样大小，本文也一样（尺寸到所需大小），本篇文章采用补零的方式使图像尺寸不受影响

3.训练

残差训练：f(x)是网络预测，x是低分辨率图片，y是高分辨率图片,r=y-x

损失函数1/2||r-f(x)||2

训练是通过使用基于反向传播的小批量梯度下降法优化回归目标来实现的。〔14〕。我们将动量参数设置为0.9。训练被权重衰减（L2罚乘以0.0001）规则化。

srcnn的学习率是10的-5次方。

梯度裁剪是一种常用于训练递归神经网络的技术[17 ]。但是，据我们所知，它的使用局限于训练CNNs。虽然存在许多限制梯度的方法，但通常的策略之一是将单个梯度剪辑到预定义的范围[−θ，θ ]

控制梯度：

输入图片大小为视野大小（41*41）batchsize=64

4.结果

验证深度越深，性能有所增加

虽然残差学习在别的方面被提到，但是本文作者是第一个把它用到超分辨率应用中的

                                                                    对比残差学习和非残差学习

单尺度和多尺度对比训练结果