EDSR（Enhanced Deep Residual Networks for Single Image Super-Resolution）论文阅读笔记

摘要：1 作者提出了EDSR，通过去除残差单元中不必要的模块，并且扩大模型的规模，使网络的性能得到提升 2 提出了多尺度超分辨模型和训练方法，即在单个模型中可以重建不同上采样因子的图片。

引言

LR图片使由HR图片双三次插值下采样得到的。

深度神经网络在SR问题上在PSNR上获得了巨大的性能提升。但是这种网络也由局限性。首先，神经网络的重建性能对于结构的微小变化是十分敏感的。而且，相同的模型在不同的初始化和训练技巧上获得不同的性能。所以，模型结构和在训练的过程中复杂的优化方法是很重要的。

第二，大多数SR算法把不同的尺度的超分问题看作是相互独立的问题，没有考虑和利用不同尺度之间的关系。VDSR可以在单个网络中实现多个尺度的超分问题。多尺度训练的VDSR性能优于特定尺度的模型，表明了特定尺度模型的冗余性。此外，VDSR需要双三次插值图片作为输入，这导致了巨大的计算时间和内存消耗。

然而，SRResNet成功解决了时间和内存消耗过大的问题。SRResNet只是简单的利用ResNet结构，没有做出其他的改进。但是，原来的ResNet是用来解决高水平计算机视觉任务，比如分类和检测。因此，直接应用resnet结构到低水平视觉任务可能是次优的。

为了解决这一问题，我们基于SRResNet,我们简化了网络结构。

作者改进了模型的训练方法。使用预训练模型训练

相关工作

为了解决超分辨问题，早期的方法使用基于采样理论的插值算法。但是这种方法，在预测细节有局限性。

基于深度学习的方法，通常是把双三次插值后的图像作为输入。也有在网络的最后上采样到原来的大小。

为了解决单一框架下的多尺度训练，本文利用每个尺度的特征图的相关性提出了多尺度模型。

一些研究人员关注损失函数为了更好的训练网络模型。MSE是最广泛使用的损失函数。

提出方法

残差网络。残差网络在计算机视觉的各种任务中表现出非常好的性能。尽管，srresnet成功的将残差网络应用到超分领域。但是作者在改进了残差单元，进一步提高了性能。

 如图所示，作者去除了BN层。BN层虽然可以使特征标准化，但是也使网络失去了灵活性，而且使GPU的内存也减少。

EDSR

通过堆叠层数和增加卷积核的个数，可以提高模型的性能。

 但是，当增加一定数目的特征图，会使训练不稳定。通过【24】，作者使用尺度0.1残差缩放解决。即，在每一个残差块的最后一个卷积层加入。

 

 作者在训练4倍上采样时采取2倍上采样的预训练参数。从图中可以看到，预训练的方法的收敛速度更快。

MDSR