GPEN论文阅读

论文题目:GAN Prior Embedded Network for Blind Face Restoration in the Wild

翻译:用于野外盲人脸恢复的GAN先验嵌入式网络

解决的问题: 如何利用GAN作为图像先验设计,用于现实人脸图像复原

提出的方法:GPEN.

步骤:

  1. 首先训练一个用于高质量人脸图像生成的GAN,
  2. 并将其作为先验解码器嵌入到U形DNN中,
  3. 然后使用一组合成的低质量人脸图像对GAN先验嵌入DNN进行微调

优点:GAN块的设计确保输入到GAN的潜在代码和噪声可以分别从DNN的深部和浅部特征生成,从而控制重建图像的全局人脸结构、局部人脸细节和背景。

网络结构

GPEN论文阅读_第1张图片
图c:模型的整体框架,总体上遵循Unet编码器-解码器体系结构
图a:GAN先验网络,受StyleGAN启发
图b:采用的StyleGAN块体系结构

图c是模型的整体框架GPEN, 总体上遵循Unet编码器-解码器体系结构。
因此,GAN先验网络的设计应满足两个要求:
1)能够生成HQ人脸图像;2)它可以很容易地作为解码器嵌入到Ushaped GPEN中。

图(a)是GAN先验网络,受StyleGAN结构的启发,使用映射网络将潜在代码z经过一个映射网络投射到空间w中。然后将中间代码w传播到每个GAN块。每个GAN采用的StyleGAN块体系结构,如图b所示。

由于GAN-prior网络将嵌入到Ushaped-DNN中进行微调,因此我们需要为Ushaped-DNN编码器提取的特征映射留出空间。因此,我们为每个GAN块提供额外的噪声输入B。。
此外,噪声输入是串联的,而不是添加到StyleGAN中的卷积中。这个串联方法可以在恢复的人脸图像中带来更多细节,作者也在后面的消融实验中进行了证明。

当使用某个数据集训练了GAN先验网络,我们将其作为解码器嵌入U形DNN中,如图(c)所示。潜在代码z被DNN编码器的全连接层所代替, GAN网络的噪声输入被编码器每一层的输出所代替,这将控制全局人脸结构、局部人脸细节以及人脸图像背景的重建。

损失函数

  1. 对抗性损失LA
    .在这里插入图片描述

  2. 内容损失LC 生成器最终结果与相应图像真值之间的L1范数距离

  3. 特征匹配损失LF 类似于感知损失,但它基于鉴别器
    在这里插入图片描述

训练策略

首先使用FFHQ数据集来训练GAN先验网络,然后用以下模型从中合成LQ图像来微调整个GPEN
在这里插入图片描述
测试集使用CelebAHQ数据集
评估方法:PSNR、FID、LPIPS
batchsize: 1
优化器:Adam
学习率:学习率(LR)因GPEN的不同部分而不同,包括编码器、解码器和鉴别器
LRencoder:LRdecoder:LRdiscriminator=100:10:1, LRencoder=0.002

你可能感兴趣的:(计算机视觉,深度学习,人工智能)