图像超分辨率文献EDSR：Enhanced Deep Residual Networks for Single Image Super-Resolution

论文发表于2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
论文下载地址：https://arxiv.org/abs/1707.02921
作者提供的源码地址：https://github.com/LimBee/NTIRE2017

韩国首尔大学研究团队提出的用于图像超分辨率任务的新方法，分别是增强深度超分辨率网络（enhanced deep super-resolution network，EDSR）和一种新的多尺度深度超分辨率（multi-scale deep super-resolution system，MDSR），在减小模型大小的同时实现了比当前其他方法更好的性能，分别赢得NTIRE2017超分辨率挑战赛的第一名和第二名。

简介

1. 目前在解决SR问题上，使用深度神经网络的算法在提高peak signal-to- noise ratio (PSNR) 指标上获得了显著的效果。但是，这种网络也在结构最优化原则（architecture optimality）下也暴露了其局限性。
   第一，神经网络模型的重建效果会受到网络模型细微变化的影响，不同的初始化和训练方法会导致不同级别的执行效果。
   第二，现有的SR算法把不同缩放因子（scale）的超分辨率作为独立的问题，没有考虑和利用不同缩放倍数的SR之间的相互关系。这就导致需要独立训练很多的scale-specific的网络来解决不同scale的SR问题。
2. VDSR可以在单个网络中同时处理多个scale的超分辨率。使用多个尺度训练VDSR模型可以大幅提升性能，超过scale-specific的训练，这意味着scale-specific的模型中存在冗余。尽管如此，VDSR型的架构需要双三次插值图像作为输入，这与scale-specific的上采样方法的架构相比，需要更多计算时间和存储空间。
3. 原始ResNet用于高层视觉问题如分类和检测，把ResNet直接用于SR并不是最优的。本文针对这个问题，基于SRResNet结构，移除了没有必要的模块以简化网络结构，此外，还选用合适的损失函数（文中使用L1 loss），并且在训练过程中进行谨慎的模型修改。
4. 文中提出了一种多尺度模型MDSR，不同的尺度下有绝大部分参数都是共用的。这样的模型在处理每一个单尺度超分辨下都能有很好的效果。

网络结构

Residual blocks
残差块设计如上图，和SRResnet相似，在残差块外，不经过relu层，并且去掉正则化层。文中提到，正则化层会规范化特征，但这些特征会丧失range flexibility，正是这个原因，最好移除正则化层。另外，去掉BN层，可以大量节省GPU的存储消耗，因为BN层会消耗和上一层卷积层相同的GPU存储。

Single-scale model
最简单的提高网络性能的方式是增加参数的数量，在CNN网络中，性能的提升可以通过网络层数的堆叠或增加卷积核的通道数获得。CNN的层数B，卷积核通道数F，大概会占用O(BF)存储和O(BF2)参数，因此在资源有限情况下，提升F数量比增加B数量更有效。然而，在某确定层，单纯增加feature maps会让训练过程数值不稳定。
EDSR用L1范数样式的损失函数来优化网络模型。在训练时先训练低倍数的上采样模型，接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型，这样能减少高倍数上采样模型的训练时间，同时训练结果也更好。
太多的残差块会导致训练不稳定，文中使用了residual scaling的方法，即残差块在相加前，经过卷积处理的一路乘以一个小数scaling factor 0.1，保证训练更加稳定。

Multi-scale model

多尺度模型，一开始每个尺度都有两个独自的残差块，之后经过若干个残差块，最后再用独自的升采样模块来提高分辨率。

实验结果

文中的实验方法使用了Geometric Self-ensemble技术，测试时，把图像90度旋转以及翻转，总共有8种不同的图像，分别进网络然后变换回原始位置，8张图像再取平均。使用该方法进行网络训练后，可以使测试结果有略微提高，并把使用这种技术的方法称为EDSR+/MDSR+

NTIRE2017 SR挑战赛上，提供了两种不同下采样条件的低分辨率图像，使用bicubic和unknown获得的降维图像，文中的方法在这两部分LR都获得了较好的超分辨率实验结果，说明算法具有一定的鲁棒性。