ESRGAN：增强型超分辨率生成对抗网络

ESRGAN：增强型超分辨率生成对抗网络

做实验需要，做的笔记翻译

---

---

摘要

超分辨率生成对抗网络（SRGAN）[1]是一项开创性的工作，能够在单图像超分辨率期间生成逼真的纹理。然而，产生幻觉的细节往往伴随着令人不快的人工制品。为了进一步提高视觉质量，我们深入研究了SRGAN的三个关键组件——网络架构、对抗性损失和感知损失，并对每一个组件进行改进，以获得增强型SRGAN（ESRGAN）。特别地，我们引入了没有批量归一化的残余密集块（RRDB）中的残余作为基本网络构建单元。此外，我们借用相对论GAN[2]的思想，让鉴别器预测相对真实性，而不是绝对值。最后，我们通过使用激活前的特征来改善感知损失，这可以为亮度一致性和纹理恢复提供更强的监督。得益于这些改进，与SRGAN相比，建议的ESRGAN以更逼真和自然的纹理实现了持续更好的视觉质量，并在PIRM2018-SR挑战赛中获得了第一名[3]。

一、前言

在本研究中，我们重新审视了SRGAN的关键组成部分，并在三个方面改进了模型。首先，我们通过引入残差密集块中的残差（RDDB）来改进网络结构，该算法具有更高的容量和更易于训练。我们还删除了[20]中的批归一化（BN）[19]层，并使用残差缩放[21，20]和较小的初始化来帮助训练非常深的网络。其次，我们使用相对论平均GAN（RaGAN）[2]改进了鉴别器，该鉴别器学习判断“一幅图像是否比另一幅图像更真实”，而不是“一幅图片是真实还是假的”。我们的实验表明，这种改进有助于生成器恢复更真实的纹理细节。第三，我们提出了一种改进的感知损失，通过使用激活前的VGG特征，而不是像在SRGAN中那样在激活后。我们从经验上发现，调整后的感知损失提供了更清晰的边缘和更视觉上令人愉悦的结果

SR算法通常通过几种广泛使用的失真度量来评估，例如PSNR和SSIM。然而，这些指标从根本上与人类观察者的主观评价不一致[1]。非参考测量用于感知质量评估，包括Ma的得分[23]和NIQE[24]，这两者都用于计算PIRM-SR挑战[3]中的感知指数。在最近的一项研究中，Blau等人[22]发现失真和感知质量相互矛盾。(Blau, Y., Michaeli, T.: The perception-distortion tradeoff. In: CVPR. (2017))

主要目标是提高SR的整体感知质量

二、实验亮点

由于没有有效和标准的感知质量度量，我们在图7中给出了一些有代表性的定性结果。PSNR（在YCbCr颜色空间中的亮度通道上评估）和PIRM-SR挑战中使用的感知指数也可供参考。
例如，与倾向于生成模糊结果的面向PSNR的方法相比，ESRGAN可以生成更清晰、更自然的狒狒胡须和草纹理（参见图像43074），也比以前基于GAN的方法（其纹理不自然且包含令人不快的噪声）更清晰。ESRGAN能够在建筑中生成更详细的结构（参见图像102061），而其他方法要么无法生成足够的细节（SRGAN），要么添加不希望的纹理（EnhanceNet）。

---

总结

这篇文章的架构还是很清晰很有参考价值的，还有针对自己的问题，有了比较明确的思路。