SRCNN：Image Super-Resolution Using Deep Convolutional Networks

Some words： 这里是一些阅读文章的笔记，这篇文章是第一篇将深度学习应用于超分领域的文章，具有较为重要的意义。

link: https://arxiv.org/pdf/1501.00092.pdf

---

（一）Abstract：

我们提出一个对于单图像超分的深度学习方法，端到端地学习高低分辨率图像，我们也可知道传统的稀疏编码也可以作为一个深度卷积网络。与传统的方法相对独立的组件相比，我们的方法是端到端，并且处理了图像的三个通道，并且在线使用实现了不错的速度。我们也尝试在速度和参数之间得到一个权衡。

---

（二）Introduction：

        单图像的超分是一个欠定的逆问题，本身具有多解。以往的方法一般是基于示例的，即从现有的样本来去学习。基于稀疏编码的是一个较为典型的基于实例学习的例子。

        在这篇文章，主要提出了一个卷积的网络，整个网络的pipleline除了一些简单的预先预后处理，基本上整个学习都是通过网络来获得。->END-TO-END

        该网络与传统方法的几点区别：1.不需要patch空间学习字典或者流形，这些通过隐藏层来进行学习；2.块的抽取和聚合也表示为卷积层，参与优化；3.设计较为简单，但是相较于先进的方法取得了很好的表现；4.有着适中的卷积核和层，相较于别的方法有着不错的速度；5.实验的结果也展示了效果可能会因数据集的大和多样以及模型的大和深来得到提高；6.这个网络可以处理3通道的图像。

如下图，可以看到SRCNN的性能，在第一个epoch就能得到明显的提高；

 2.1 Contributions：

        1.提出一个全卷积的神经网络，端到端学习，除了优化，只有很少的预先预后处理；

        2.在深度学习网络和传统的超分网络中建立一个联系；

        3.证实了深度学习在计算机视觉实现了不错的表现和速度；

---

（三）Related Work：

3.1 Image Super-Resolution

这部分主要分析了传统的超分方法，以及大多数方法并非在三个通道上计算，一般在灰度或者单通道的图像上

3.2 Convolutional Neural Networks

这部分主要是讲了CNN 影响较大并且已经广泛应用于各个领域，它的成功得益于GPU、ReLu、较大的数据集...

3.3 Deep Learning for Image Restoration

这部分主要是讲前人在超分领域应用深度学习技术，但是相比之下，SRCNN是端到端并且实用等优点更甚。

---

（四）CONVOLUTIONAL NEURAL NETWORKS FOR SUPER-RESOLUTION

4.1 Formulation

3个过程：Patch抽取和表示、非线性映射和表示，均可以表示为卷积的形式，形成一个卷积网络；（文中详细介绍三个过程）

4.2 Relationship to Sparse-Coding-Based Methods

 我们可以将基于稀疏编码的超分表示为卷积，如上图

4.3 Training

MSE 作为损失函数与，PSNR 作为评价指标，使用随机梯度下降...

---

（五）EXPERIMENTS

我们首先研究了使用不同的数据集对模型性能的影响。接下来，我们将检查通过我们的方法学习到的过滤器。然后，我们探索了网络的不同架构设计，并研究了超分辨率性能与深度、滤波器数量和滤波器大小等因素之间的关系。随后，我们将我们的方法与最近的技术现状进行了定量和定性的比较。在[42]之后，在第4.1- 4.4节中，只对亮度通道（YCbCr颜色空间中的Y通道）应用超分辨率，因此在第一/最后一层使用c = 1，并在Y通道上评估性能（如PSNR和SSIM）。最后，我们将网络扩展到处理彩色图像，并评估其在不同通道上的性能。

5.1 Training data

         可知，我们在较大的数据集上进行训练，发现结果会比较好但是没有特别像高级视觉产生的效果更明显。这可能是次数较少，对小数据的数据没有完全的拟合。因而，之后的网络主要就在ImageNet上进行训练。

5.2 Learned Filters for Super-Resolution

 由图可知，我们发现每一个卷积核都在抽取不同的特征；第一张和第二张特征图有明显的强度不同；

5.3 Model and Performance Trade-offs

 我们可以由上表得知，随着网络宽度的增加，速度会变慢，但是效果也会变好；

卷积核的尺寸更大，往往也会得到更好的效果；

但是，随着其增大，参数量也在增大的同时性能反而不太明显。因此，网络性能是表现和速度的权衡；

影响因素有： Filter number ，Filter size，Number of layers

 由上图我们可知，不一定是层数越多，效果越好；

5.4 Comparisons to State-of-the-Arts

 由上图可知，SRCNN相比于其他方法，在PSNR上取得了不错的成绩。并且随着训练时间的增长，它的效果越好；

         由上图，其中DNC也是一种深度学习的网络，但是SRCNN仍然超过了；

由上图，分别是运行时间和模型的表现，我们发现SRCNN还是具有一定的优势；

 5.5 Experiments on Color Channels

将图像转化为 the YCbCr space，并对Y通道进行处理（因为人眼对于图像的亮度变化更加敏感），但是有时也会对其他通道进行插值来保证整体的协调性。

---

（六）CONCLUSION

我们提出一个新奇的深度学习用于单图像超分的方法，基于稀疏编码可以表示为卷积，从高低分辨率图像直接端到端学习除了少量预先预后的图像处理，用着较为轻量的框架取得了超过目前最先进方法的表现。并且，该方法通过增加过滤器或者其他的训练技巧能够不断发展，同时也能够用于其他的计算机任务。