论文笔记(EDSR)

4.EDSR

1.研究背景：

这项工作最初是为了参加NTIRE2017超分辨率挑战赛而提出的。该挑战旨在开发具有最高PSNR的单幅图像超分辨率系统。该比赛存在两个针对不同下采样方法，每个轨道有三个下样本尺度(×2,×3, ×4)。

2.存在问题：

1. 一般研究假设LR是HR的双三次下采样版本，但在实际应用中也可以考虑其他降级因素，如模糊、抽取或噪声。

2. 神经网络模型的重构性能对微小的架构变化非常敏感，精心设计的模型架构和复杂的优化方法在训练神经网络中是必不可少的。

3. 现有的SR算法大多将不同尺度因子的超分辨问题视为独立问题，没有考虑和利用SR中不同尺度之间的相互关系。

3.改进思索：

多尺度：VDSR的网络设计虽然能在单一网络中同时处理多个尺度的超分辨率，但其架构需要双三次插值图像作为输入，与特定尺度上采样方法的架构相比，计算时间和内存更重。在网络的最末端训练上采样模块也是可能的，可以在不损失模型容量的情况下减少大量计算，因为特征的大小减小了。然而，这些方法有一个缺点:它们不能像VDSR、那样在一个框架中处理多尺度问题。

残差块：SRResNet虽然以良好的性能成功地解决了时间和内存问题，但它只是采用了最原始的ResNet架构，没有做太多修改，针对低级视觉任务SR应该做相应的修改。

4.解决方案：

提出的EDSR优化去除了在传统的残差网络中针对SR任务的不必要的模块，实现了显著地性能改善。在稳定训练过程的同时，通过扩大模型规模进一步提高了训练性能。基于EDSR的基础上，还提出了一种新的多尺度深度超分辨率系统(MDSR)及训练方法，可以在单一模型中重建不同尺度的高分辨率图像。

1. 在考虑有限的计算资源时，增加网络宽度而不是网络深度可以使模型参数最大化，通过增加网络参数的方法获得最大性能。

2. 在一定水平上增加特征图的数量会使训练过程在数值上不稳定，采用系数为0.1的残差标度来解决这个问题，在每个残差块的最后一个卷积层之后放置常数缩放层。当使用大量卷积操作时，这些层极大地稳定了训练过程。在测试阶段，这些层可以集成到之前的卷积层中，以提高计算效率。

3. 在训练上采样因子×3和×4的模型时，使用预先训练好的×2网络初始化模型参数，这种预训练策略可以加速训练并提高最终性能。

优化SRResNet架构，去除批量归一化层（BN），由于批处理归一化层对特征进行了归一化，通过对特征进行归一化，会消除网络中的范围灵活性，因此最好将其移除，同时移除BN层也降低了GPU内存的使用。除此之外，也去除了残差块后的激活层。

多尺度的超分辨率是相互关联的任务，EDSR利用了VDSR所做的尺度间相关性的优势，该网络，具有一个B = 16个残差块的主分支，以便在不同尺度上共享大多数参数，。

EDSR引入了特定于尺度的处理模块来处理多尺度的超分辨率。

4. 预处理模块位于网络的头部，以减少不同尺度输入图像的方差。每个预处理模块由两个5× 5核的残差块组成。通过采用更大的内核进行预处理模块，可以保持特定于尺度的部分较浅，而较大的接受域在网络的早期阶段被覆盖。

5. 在多尺度模型的最后，针对不同尺度的上采样模块并行布置，进行多尺度重建。

采用几何自集成策略提升网络模型的潜在性能，该方法用于在测试的时候，将每一张输入图像经过8种不同(其中一种是原图)的变换方式进行转换，然后将8个结果通过网络输出成一组结果，再对其分别进行转置处理，最后将在此基础上进行平均处理的结果进行性能计算。

6. 成果对比：

网络重要参数对比

6.特点总结：

1.在SRResNet架构的基础上，首先对其进行优化，分析并去除不必要的模块，简化网络架构。

2. 用适当的损失函数L1训练网络，并在训练时仔细修改模型。

3.提出了一种新的多尺度体系结构，在不同尺度之间共享大部分参数，通过特定于尺度的处理模块来处理多尺度的超分辨率。

4.从预训练的低尺度模型训练高尺度模型。

5.采用几何自集成策略提升网络模型的潜在性能。