Real-ESRGAN----完全用合成数据训练的real-world SR
目录
文章简介
模糊核退化
噪声退化
缩放退化
JPEG压缩退化
Ringing and overshoot artifacts
高阶退化
网络模型
效果
补充说明
文章简介
论文名称：Real-ESRGAN-Training Real-World Blind Super-Resolution with Pure Synthetic Data
21年的一篇很好的论文，解决真实场景的SR问题，但是训练只使用了合成数据，没有用真实场景数据，测试是真实场景数据，在构造数据时，使用了高阶退化， 而不是只用了一阶退化，且考虑了ring和overshoot问题，D网络使用U-net型，且用了spectral normalization。当然，有些真实场景还 是解决不了的。
模糊核退化
When σ1 = σ2, k is an isotropic Gaussian blur kernel; otherwise k is an anisotropic kernel.
generalized Gaussian kernels
plateau-shaped kernels
噪声退化
主要考虑高斯噪声和泊松噪声 泊松噪声是sensor采集是随着曝光不同而不同，和位置没关系，参数主要为高斯噪声强度参数标准差，泊松噪声scale.
缩放退化
主要考虑the area, bilinear and bicubic operations三种，最近邻由于有位置对齐问题不考虑
JPEG压缩退化
The quality of compressed images is determined by a quality factor q ∈ [0, 100], where a lower q indicates a higher compression ratio and worse quality. We use the PyTorch implementation - DiffJPEG
主要参数时质量因子q
Ringing and overshoot artifacts
高阶退化
主要考虑二级退化，流程如图所示
Gaussian kernels, generalized Gaussian kernels and plateau-shaped kernels,
概率分别为{0.7, 0.15, 0.15}，
模糊核大小{7, 9, ...21}
模糊核标准差 [0.2, 3]，第二阶的为[0.2, 1.5]
generalized Gaussian kernels的β为 [0.5, 4]
plateau-shaped kernels的β为 [1, 2]
sinc kernel 的概率为0.1
用0.2的概率跳过二阶模糊退化
Gaussian noises and Poisson noises 概率为 {0.5, 0.5}.
高斯噪声sigma 范围 [1, 30]
Poisson noise scale 为[0.05, 3]
第二阶分别为[1, 25] 和 [0.05, 2.5].
灰度噪声概率为0.4.
JPEG compression 范围为[30, 95].
sinc filter的概率为0.8
网络模型
扩展了原来的ESRGAN，同时支持x1,x2,x4
使用pixel-unshuffle减少空间大小，增加通道数
D网络使用U-net型，且用了spectral normalization
训练先用L1-Loss，用Real-ESRNet表示
之后再加per loss和gan loss，用Real-ESRGAN表示
把GT进行了锐化处理，用Real-ESRGAN+
使用三个数据集 DIV2K, Flickr2K and OutdoorScene
效果
测试时使用真实场景的图像，效果很惊艳，主要是退化模型考虑了多次退化，考虑了多种复杂的模糊核，D网络中使用spectral normalization，sinc filter等，论文对这几个方面做了消融试验。
补充说明
能够得到这么好的结果，除了数据构造方面，还得益于网络很强大，如果没有这么强大的网络，估计也得到不这么好的效果，如果是小点的网络，轻量级的，可以重点考虑解决其中一种或者某几个退化，而不考虑全部的。