SRGAN阅读

原文链接：Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

SR :从低分辨率(LR)图像中提取高分辨率(HR)图像这一极具挑战性的任务称为超分辨率(SR)。

目录

本文贡献：

网络模型：

目标函数：

损失函数（感知损失函数）：

实验结果：

源代码

---

 

本文贡献：

1. 通过对16块深度ResNet (SRResNet)进行MSE优化，我们通过PSNR（峰值信噪比）和结构相似性(SSIM)测量了具有高上标度因子(4x)的图像SR，并为其设置了一种新的技术的最新水平。
2. 我们提出了一种基于神经网络的感知损失优化算法。在这里，我们将基于mse的内容损失替换为基于VGG网络[49]特征图计算的损失，该特征图对像素空间[38]的变化更加不变。
3. 我们通过对三个公共基准数据集的图像进行广泛的平均意见得分(MOS)测试，证实了SRGAN是一种新的技术状态，在很大程度上可以用于估计具有高放大因子的照片真实感SR图像(4x)。

网络模型：

目标函数：

      在SISR中，目标是从低分辨率的输入图像估计高分辨率、超分辨率的图像。这里是高分辨率版本的低分辨率版本。高分辨率的图像只有在训练时才能获得。在训练中，首先对应用高斯滤波器，然后进行降采样操作，降采样因子r，得到。对于具有C个彩色通道的图像，我们分别用大小为W x H x C的实值张量来描述，用rW x rH x C来描述和。

       我们的最终目标是训练一个生成函数G来估计给定的LR输入图像与其对应的HR。为了实现这一点，我们训练一个生成器网络作为一个前馈CNN ，参数为。这里 分别表示L层神经网络的权重和偏置 ，通过优化具体的损失函数得到。为了训练,n=1,2,……,N,对应于,我们需要解决：

在这项工作中，我们将专门设计一个感知损失作为几个损失组件的加权组合，这些损失组件会对恢复后的SR图像的不同期望特征进行建模。

对抗问题转换为了：

MSE(和PSNR)捕捉感知相关差异(如高纹理细节)的能力非常有限，提出了感知损失函数。

损失函数（感知损失函数）：

 

感知损失函数由内容损失函数+对抗损失函数组成，SR代表超分辨率，LR代表低分辨率，HR代表高分辨率。

1、内容损失

像素级别的MSE损失计算如下：

虽然该损失能够有极高的峰值信噪比，但是通常缺乏高频内容，过于平滑。所以作者们基于VGG的RELU激活层定义了VGG Loss Function。表示从VGG-19网络的第J层卷积（激活后）的第i个最大池化层之前获取的特征图，然后我们将VGG损失定义为重构图像的特征表示与参考图像之间的欧式距离:

和是VGG网络中对应特征图的维数。

 

2、对抗损失

GAN的经典损失函数。D的函数是判断G生成的图像是否真实的概率分布。

 

实验结果：

不同

内容损失函数：

源代码

https://github.com/brade31919/SRGAN-tensorflow