ECCV2018超分辨率MSRN：Multi-scale Residual Network for Image Super-Resolution

这篇文章主要创新点是：使用多尺度残差块充分提取图片特征

问题

（1）目前的研究倾向于使用更深层次的卷积神经网络来提高性能。但是随着网络深度的增加，训练过程中出现的问题越来越多，需要更多的训练技巧。导致很多方法难以复现；
（2）特征利用不足，随着网络深度的增加，特征在传输过程中逐渐消失。如何充分利用这些特征，是网络重建高质量图像的关键；
（3）可扩展性差；

贡献

提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征：
（1）使用MSRB来获取不同尺度的图像特征（局部多尺度特征）。
（2）将每个MSRB的输出组合起来进行全局特征融合（HFFS，一个以1×1卷积核为瓶颈层）。
将局部多尺度特征与全局特征相结合，最大限度地利用LR图像特征，彻底解决特征在传输过程中消失的问题。
还设计了一个简单而高效重建结构可以很容易地实现多尺度的放大。

网络架构

网络分为（1）特征提取部分；（2）重建部分
特征提取部分又分为：（1）多尺度残差块(MSRB)；（2）层次特征融合结构(HFFS)
损失函数采用L1损失。

多尺度残差块(MSRB)

由图可以看出，MSRB由多尺度特征融合和局部残差学习组成

多尺度特征融合：

局部残差学习：

层次特征融合结构(HFFS)

随着深度的增长，网络的空间表达能力逐渐下降，而语义表达能力逐渐增强。此外，每个MSRB的输出都包含不同的特性。因此，如何充分利用这些层次特征将直接影响重建图像的质量。本文采用了一种简单的层次特征融合结构。我们将MSRB的所有输出发送到网络的末端进行重构。一方面，这些特征图包含了大量的冗余信息。另一方面，将它们直接用于重建将大大增加计算复杂度。为了自适应地从这些层次特性中提取有用的信息，我们引入了一个瓶颈层，这对于具有1×1卷积层是必不可少的。层次特征融合结构(HFFS)的输出可以表示为：

说了这么多。、，实际就是把每一层的输出进行拼接，之后用1×1卷积核做卷积（bottleneck）。。改变通道数量，称之为特征融合。。

重建

重建部分设计的比较简单，将之前的A.B.C部分进行简化，得到新的重建结构。
每个多尺度残差网络的输出都被用作全局特征融合的分层特征，最终，所有这些特征都在重建模型中用于修复高分辨率图像。

结果

作者在没有任何初始化或技巧的情况下，用DIV2K数据集训练网络，证明了这可以解决我们上述提到的第一问题：复现性差。
可以看看论文中给出的结果：