ESRGAN论文阅读笔记

“ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks”发表于ECCV 2018 workshop，是对“The Super-Resolution Generative Adversarial Network”(SRGAN)的改进工作，在PIRM2018-SR挑战赛上，在region 3区域获得第一名并且获得最好的perceptual index。

论文地址：https://arxiv.org/abs/1809.00219
作者代码地址：https://github.com/xinntao/ESRGAN
PIRM2018-SR挑战赛网站：https://www.pirm2018.org/PIRM-SR.html

简介

SRGAN是single image super-resolution领域里一项有创造力的工作，可生成更加真实的纹理，使得看起来更加真实舒服。但是，使用该方法生成的图片有时在细节处会伴随令人不愉快的伪影。为了改进这部分工作，作者提出从3个方面进行：

1. network architecture（网络结构）
2. adversarial loss（对抗损失)
3. perceptual loss（感知损失）

Network Architecture

网络中使用Residual-in-Residual Dense Block (RDDB)取代Residual Bock，作者认为可以提高能力并容易训练，去除BN层，并使用residual scaling和smaller initialization来训练这一很深的网络

Relativistic Discriminator

使用相对真实的判别器，让判别器学到“一幅图像比另一幅图像更加真实”而不是“一副图像是真实的还是假的”，实验结果表明，使用该方法训练，可以使生成器生成更加真实的纹理细节。

Perceptual Loss

在激活层前计算perceptual loss，作者通过实验验证，在激活层计算perceptual loss可以保留更多的细节信息。

此外，生成器的损失函数中，还加入了L1范数正则化项

实验结果

总结

提出对SRGAN的改进工作，获得了更好的主观质量效果，赢得了PIRM2018-SR挑战赛。

改进点如下：
1.网络中使用RDDB块取代Residual Bock
2.去掉BN层
3.residual scaling and smaller initialization
4.relativistic GAN
5.在激活层前计算perceptual loss