深度学习计划（4）SRGan简析

SRGAN

一种用于图像超分辨率(SR)的生成对抗网络(GAN)
超分辨率：从低分辨率(LR)图像来估计其对应高分辨率(HR)图像的高挑战性任务被称作超分辨率(SR)

问题：

   重建的SR图像中通常缺少纹理细节。有监督SR算法的优化目标通常是最小化恢复的HR图像和真实图像之间的均方差（MSE）。最小化MSE即最大化峰值信噪比(PSNR)是方便的，这是用来评估和比较SR算法的常用方法。

补充：

    PSNR是最普遍和使用最为广泛的一种图像客观评价指标，然而它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性（人眼对空间频率较低的对比差异敏感度较高，**人眼对亮度对比差异的敏感度较色度高**，人眼对一个区域的感知结果会受到其周围邻近区域的影响等），因而经常出现评价结果与人的主观感觉不一致的情况。

方法：

   为此我们采用了具有跳跃连接的深度残差网络并舍弃了作为唯一优化目标的MSE。不同于以前的工作，我们定义了一种新的使用VGG网络[48, 32, 4]高级特征映射与判别器结合的感知损失，判别器会鼓励感知上更难与HR参考图像区分的解。
   （1）本文专注于单张图像。
      补充：图像滤波：保留细节特征，去噪。
      (2)基于预测方法。线性，双三次，Lanczos滤波。过分简化SISR问题，产生过于平滑的纹理。
      (3)建立低分辨率和高分辨率之间的复杂映射，依赖于数据。
      (4)基于CNN的SR算法。

网络设计：

定义分辨器网络D,生成器G。
B个残差块。

G：使用两个带有3x3小内核的卷积层和64个特征映射，然后是批处理规范化层BN和ParametricReLU 作为激活函数。

补充：
ParametricRelu 参数化Relu激活函数，将参数设置为一个可以训练得到的参数。特点：训练完后，PRelu参数为固定值。对应torch.nn.PRelu
补充：
PixlShuffle算法：将一个HxW的低分辨率输入图像，通过Pixel操作将其变为rHxrW的高分辨率图像。
(n,r**2C,w,h)->(n,c,rw,r*h)

D:使用LeakyReLU激活并避免整个网络中的最大池化,它包含8个卷积层，滤波器内核数量不断增加，从VGG网络中的64到512个内核增加了2倍。每次特征数量加倍时，使用条纹卷积来降低图像分辨率。得到的512个特征图之后是两个密集层和一个最终的S形激活函数，以获得样本分类的概率。

损失函数：

MSE很难恢复丢失的高频细节，最小化MSE得到的是像素平均值，得到图像质量较差。
（1）感知损失
使用Lsr损失=内容损失+对抗性损失×权重

（2）内容损失
像素方式的MSE损失。

此种损失丢失了高频信息，得到的图像过于平滑。

改进：我们将VGG损失定义为重建图像的特征表示与参考图像之间的欧氏距离.
将生成器得到ISR图像与IHR图像输入VGG-19网络，对每一层的特征映射计算欧式距离。
补充：欧拉距离是基数差平方和再开方。
（3）对抗损失

通过添加Gan生成网络损失，鼓励网络欺骗鉴别器。

训练：

将高斯滤波器应用于IHR，然后使用下采样因子操作来获得ILR。最终目标是训练生成函数G。我们将特别设计一个感知损失作为几个损失成分的加权组合，模拟恢复的SR图像的不同的理想特征。
（1）设计的D网络与G网络交替训练，一起优化，使得分辨器能够分辨超分辨图像和高分辨图像。
（2）将生成器生成的ISR输入VGG-19，IHR输入VGG-19，计算特征图欧式距离，即L2损失。