SRGAN:Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

Christian Ledig, Lucas Theis, Ferenc Huszár, Jose Caballero ,Andrew Aitken, Alykhan Tejani , Johannes Totz, Zehan Wang,  Wenzhe Shi 

2016年CVPR的文章

论文认为之前提出的方法的目标函数是MSEloss，这样的目标函数会导致过于光滑的图像，不够真实。而论文结合了VGG loss、对抗loss、content loss三种损失函数作为目标函数，并融入了生成对抗网络的思想。并且首次应用了LR空间上的快速特征学习和BN来让网络的训练更加有效。

论文提出的方法

首先GT(Groud Truth)是存在的，为了训练网络，LR是通过对GT下采样r倍，然后在对其进行高斯滤波得到的。

上图是网络的结构。从上面Ｇ的图中可以看出，Ｇ的中间有Ｂ个residual block，每个residual block都由两个同样的结构，就是卷积－BN－ReLU，其中卷积层的核是，特征图个数是64个。

生成器的目标就是

其中表示Ｇ的参数，表示损失函数。

而判别器Ｄ和生成器G的对抗就是一个极大极小问题：

损失函数

content loss

MSE loss

但是论文任务MSEloss会导致图像过于光滑，于是论文提出使用VGGloss作为content loss

表示第j个池化层前的第i个卷积层。

对抗损失

表示判别器将重构图像估计为真实图像的概率，

正则化损失

论文提出了一个正则化损失，其实就是希望生成器的参数的梯度不能太大。

实验

数据：论文采用Set5,Set14,BSD100作为测试机，超分辨率４倍，对比方法是bicubic,SRCNN,Self-ExSR,DRCN。

训练数据：ImageNet，从中选取50000个图像，LR是通过将HR用bicubic进行４倍下采样。batch =16,patch_size=，Adam优化，，学习率，更新次。

论文先只采用作为损失函数，训练一个模型，来作为训练GAN时的初始化，以避免陷入局部最优。

1. 论文发现用作为损失函数比用MSE效果更好。
2. 论文用350000个图训练SRGAN。
3. 交替更新生成器和判别器的采纳数。
4. 生成器包含１５个残差块。

content loss

论文进一步对content loss做了实验，总的损失函数：

分别取为：得到的结果如下：

可以看出MSE的psnr最高，但是得到的图像在视觉上效果不够好。相比于VGG22，VGG54具有更多的纹理信息。

实验结果

1. CNN与GAN结合
2. TV loss
3. 预训练Ｇ，再用得到的参数初始化ＧAN中的G.