DCSCN论文阅读笔记

题目：Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network

摘要

• 我们提出了一种具有深度卷积神经网络的高效，快速的单图像超分辨率（SISR）模型。最近，Deep CNN表明它们在单图像超分辨率方面具有显着的重构性能。【虽然很深的网络性能好，但是需要的硬件要求很高】当前的趋势是使用更深的CNN层来提高性能，但是，深度模型需要较大的计算资源，不适合移动，平板电脑和IoT设备等网络边缘设备，我们的模型具有最先进的重建性能，且计算成本至少降低了10倍通过深CNN和剩余网络，跳过连接和网络中的网络（DCSCN）。深度CNN和跳过连接层的组合用作特征提取器，用于局部和全局区域的图像特征。并行的1x1 CNN类似于网络中的“网络”，也用于图像重建。该结构减少了前一层输出的尺寸，从而可以更快地进行计算，而信息损失更少，并且可以直接处理原始图像。此外，我们还优化了每个CNN的层数和过滤器，从而显着降低了计算成本。因此，所提出的算法不仅实现了最先进的性能，而且还实现了更快，更有效的计算。

背景：虽然很深的网络性能好，但是需要的硬件要求很高
对象：
方法：通过深CNN和剩余网络，跳过连接和网络中的网络（DCSCN）。**深度CNN和跳过连接层的组合用作特征提取器，用于局部和全局区域的图像特征。
结论：提出的算法不仅实现了最先进的性能，而且还实现了更快，更有效的计算。

图1.（DCSCN）结构。最后一个CNN（深蓝色）输出比例因子平方的通道。然后将其重塑为HR图像

图2.（a）其他模型和（b）我们的模型（DCSCN）的简化过程结构。



图 4. set14vs的重建性能之间的比较。计算复杂度。 DCSCN的复杂度取为1.00

结论

• 提出了一种基于CNN的网络中具有跳过连接和网络连接的快速准确的图像超分辨率方法。在我们方法的特征提取网络中，对结构进行了优化，并且通过跳过连接将局部和全局特征都发送到了重建网络。在重建网络中，使用网络体系结构中的网络以较少的计算获得更好的重建性能。另外，该模型被设计为能够处理原始尺寸的图像。使用这些设备，我们的模型可以在没有计算资源的情况下实现最先进的性能。【1、使用skip connection，2、减少计算需要的资源】
• 由于SISR任务已开始在网络边缘（移动，平板电脑和IoT设备等服务的入口点设备）上使用，因此构建了一个小而有效的模型相当重要。尽管已经通过大量的试验和错误过程提出了该模型，但是应该有一种更好的方法来调整模型结构和超参数。需要建立一种方法来设计适合每个问题的模型复杂性。
• 本研究的另一个值得注意的方面是整体学习模型的使用。深度学习本身具有解决复杂问题的能力，但是，即使问题内部存在很大差异，经典的集成学习也往往会以较少的计算量带来良好的结果。而且，集成模型使并行计算变得更容易，从而可以更快地进行计算。因此，可以制作少量的深度学习模型并将其组合为一个集成模型，以解决实际问题和复杂问题。

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

什么是skip connection