《Multi-scale Residual Network for Image Super-Resolution》阅读

题目：用于图像高分辨率的多尺度残差网络

摘要：近年来的研究表明，深度神经网络可以显著提高单幅图像的超分辨率。目前的研究倾向于使用更深层次的卷积神经网络来提高性能。然而，盲目地增加网络的深度并不能有效地改善网络。更糟糕的是，随着网络深度的增加，训练过程中出现的问题越来越多，需要更多的训练技巧。在本文中，我们提出了一种新的 多尺度残差网络(MSRN) 来充分利用图像的特征，其性能优于大多数现有的方法。在残差块的基础上，引入不同大小的卷积核，自适应地检测不同尺度的图像特征。同时，我们让这些特征相互作用，得到最有效的图像信息，我们称之为结构多尺度残差块(MSRB)。此外，每个MSRB的输出作为全局特征融合的层次有限元模型。最后，将所有这些特征发送到重构模块，对高质量图像进行恢复。

作者认为现在大多数SR模型有以下三个问题：

（1）难以重现。 实验结果表明，SR模型对网络体系结构的细微变化较为敏感，由于缺乏网络配置，其中一些模型难以达到原论文的水平。同样，同一个模型通过使用不同的训练技巧，如权值初始化、梯度截断、数据归一化等，实现了不同的性能。这意味着性能的提高可能不是由于模型体系结构的改变，而是使用了一些未知的训练技巧。
（2）特征的利用不足。 大多数方法为了提高网络的性能而盲目地增加网络的深度，而忽略了充分利用LR图像的特征。随着网络深度的增加，特征在传输过程中逐渐消失。如何充分利用这些特征，是网络重建高质量图像的关键。
（3）低可扩展性。 使用预处理的LR图像作为输入将增加计算复杂度并造成明显的人工干预。因此，近年来直接放大LR图像的方法越来越受到重视。结果是很难找到一个简单的SR模型来适应任何放大因子，或只需要对网络体系结构进行少量调整就可以迁移到任何放大因子。

文章的主要贡献在于：

（1）提出了一种不同于以往的研究的，新的多尺度残差块(multi-scale residual block, MSRB)，它不仅能够自适应地检测图像特征，而且能够在不同尺度下实现特征融合。这是第一个基于残差结构的多尺度模型。更重要的是，它很容易训练，超过现有的模块。
（2）将本文工作扩展到计算机视觉任务，其结果超过了没有深度网络结构的SISR中最先进的方法。此外，MSRB还可用于其它恢复任务的特征提取，取得了良好的效果。
（3）提出了一种单一层次的特征融合（HFFS）和图像重建体系结构。它可以很容易地扩展到任何放大因子。

生成方法：

在这项工作中，我们的目的是重建一个超分辨率图像I^SR从低分辨率图像I^LR。I^LR是I^SR的低分辨率版本，通过双三次运算得到。我们将图像转换为YCbCr颜色空间，并只在Y通道上训练。对于有C个彩色通道的图像，我们用大小为W×H×C的张量描述I^LR，用rW×rH×C表示I^HR、I^SR，其中C = 1表示Y通道，r表示放大因子。

θ表示权重w和偏差b，L^SR是用来最小化I^HR和I^SR差异的损失函数。

为了减少不必要的小技巧和计算量，文章使用了L1范数作为损失函数。

上图是文本问所提出模型的完整架构。模型将未处理的LR图像作为输入，通过网络直接上采样到高分辨率空间。模型可以分为两个部分:特征提取模块和图像重建模块。特征提取模块由多尺度残差块(MSRB)和分层特征融合结构(HFFS)两部分组成。

多尺度残差块 (MSRB)

图像重构

之前的工作主要是研究LR和HR图像之间的映射函数，其中LR图像被双三次上采样到与HR相同的维度。然而，这种方法引入了冗余信息，增加了计算复杂度。受此启发，最近的工作倾向于使用未经放大的LR作为输入图像来训练一个可以直接上采样到HR维度的网络。相反，很难找到一个SR模型，它能够迁移到任何只需要对网络体系结构进行少量调整的放大因子。此外，这些网络中的大多数往往是固定的放大因子(x4)，没有给出迁移到其他放大因子的特定指令。

PixelShuffle [2] 和反卷积层在SISR任务中得到了广泛的应用。如上图所示，有几种常见的重构模块。以放大因子4为例，各模块均采用PixelShuffle或反卷积操作，以放大因子2为基础逐步重构SR图像。然而，随着规模因子的增加(如8)，网络变得更加深入，训练问题也变得更加不确定。此外，这些方法对奇数向上缩放因子不起作用，而人们可能希望放大因子是缓慢增长的（2–>3–>4–>5）而不是指数增长。

为此，提出了一种新的重构模块，该模块结构简单、高效、灵活。由于pixelshuffle，模块可以迁移到任何放大因子，只需进行少量调整。在表格中，提供了关于重建结构的详细配置信息。在我们的网络中，对于不同的放大因子，我们只需要改变M的值，其变化可以忽略不计。实验表明，该结构在不同的放大因子下均有较好的性能。

数据集

本文选择了DIV2K作为训练数据集，一个新的高质量的图像数据集的图像恢复的挑战。在测试中，使用了5个数据集，分别是Set5 , Set14, BSDS100, Urban100 and Manga109。这些数据集包含各种各样的图像，可以完全验证我们的模型。在之前的工作中，我们所有的培训和测试都是基于YCbCr色彩空间中的亮度通道，并使用放大因子2、3、4、8进行培训和测试。