GPEN论文阅读

论文题目：GAN Prior Embedded Network for Blind Face Restoration in the Wild

翻译：用于野外盲人脸恢复的GAN先验嵌入式网络

解决的问题： 如何利用GAN作为图像先验设计，用于现实人脸图像复原

提出的方法：GPEN.

步骤：

1. 首先训练一个用于高质量人脸图像生成的GAN，
2. 并将其作为先验解码器嵌入到U形DNN中，
3. 然后使用一组合成的低质量人脸图像对GAN先验嵌入DNN进行微调

优点：GAN块的设计确保输入到GAN的潜在代码和噪声可以分别从DNN的深部和浅部特征生成，从而控制重建图像的全局人脸结构、局部人脸细节和背景。

网络结构

图c：模型的整体框架，总体上遵循Unet编码器-解码器体系结构
图a：GAN先验网络，受StyleGAN启发
图b：采用的StyleGAN块体系结构

图c是模型的整体框架GPEN, 总体上遵循Unet编码器-解码器体系结构。
因此，GAN先验网络的设计应满足两个要求：
1）能够生成HQ人脸图像；2）它可以很容易地作为解码器嵌入到Ushaped GPEN中。

图(a)是GAN先验网络，受StyleGAN结构的启发，使用映射网络将潜在代码z经过一个映射网络投射到空间w中。然后将中间代码w传播到每个GAN块。每个GAN采用的StyleGAN块体系结构，如图b所示。

由于GAN-prior网络将嵌入到Ushaped-DNN中进行微调，因此我们需要为Ushaped-DNN编码器提取的特征映射留出空间。因此，我们为每个GAN块提供额外的噪声输入B。。
此外，噪声输入是串联的，而不是添加到StyleGAN中的卷积中。这个串联方法可以在恢复的人脸图像中带来更多细节，作者也在后面的消融实验中进行了证明。

当使用某个数据集训练了GAN先验网络，我们将其作为解码器嵌入U形DNN中，如图(c）所示。潜在代码z被DNN编码器的全连接层所代替， GAN网络的噪声输入被编码器每一层的输出所代替，这将控制全局人脸结构、局部人脸细节以及人脸图像背景的重建。

损失函数

1. 对抗性损失LA
   .

2. 内容损失LC 生成器最终结果与相应图像真值之间的L1范数距离

3. 特征匹配损失LF 类似于感知损失，但它基于鉴别器
   

训练策略

首先使用FFHQ数据集来训练GAN先验网络，然后用以下模型从中合成LQ图像来微调整个GPEN

测试集使用CelebAHQ数据集
评估方法：PSNR、FID、LPIPS
batchsize: 1
优化器：Adam
学习率：学习率（LR）因GPEN的不同部分而不同，包括编码器、解码器和鉴别器
LRencoder:LRdecoder:LRdiscriminator=100:10:1， LRencoder=0.002