轻轻松松使用StyleGAN2(九):比较 StyleGAN2 重建真实人脸的四种方法

StyleGAN2显著地提高了生成图像的质量,作为其中一个应用,利用StyleGAN2找到真实人脸的最优潜码并重建图像,是一个有意思的话题。

到目前为止,我们收集到了四种重建真实人脸的方法,分别是:

(1)StyleGAN2 官网自带的 run_projector.py,参见:轻轻松松使用StyleGAN2(二):使用run_projector.py将真实人脸投射到StyleGAN2 dlatents空间并重建图像

(2)rolux基于 run_projector.py 改进的 project_images.py,参见:轻轻松松使用StyleGAN2(四):StyleGAN2 Encoder,使用 projector_images.py 重建高质量人脸图像

(3)rolux开发的 StyleGAN Encoder,参见:轻轻松松使用StyleGAN2(三):一笑倾人城,再笑倾人国:让你的女朋友开心笑起来

(4)将Pbaylies在一代 StyleGAN Encoder 中成果,移植到 StyleGAN2 上,参见:StyleGAN2 使用 pbaylies/stylegan-encoder 将图片投影到潜在空间 。

【注意】方法(4)需要用到 .\dnnlib\tflib\network.py 中 run() 方法的 custom_inputs 参数,而更新后的 dnnlib 库删除了与 custom_inputs 相关的代码,如果要成功运行方法(4),可以到百度网盘下载包含 custom_inputs 参数的 dnnlib 库,

链接: https://pan.baidu.com/s/1j6O-bgrMn5jVFO_GrE4cew

提取码: wjya

这四种重建真实人脸的方法,各自的特点和处理速度如何呢?我们的实验结果如下表所示:

方法名称 W 向量 vgg16-zhang 模型 resnet50 反向网络 迭代次数 处理时间 / 图 图像尺寸
官网自带 1x512 支持 1000 154.4秒 1024x1024
rolux project_images 18x512 支持 1000 151.8秒 1024x1024
rolux encoder 18x512 支持 1000 102.4秒 1024x1024
pbaylies encoder 18x512 支持 支持 100 32.1秒 1024x1024

大家最关心的,四种方法重建人脸的图像质量如何呢?我们选用了两张真实人脸和两张美术作品人脸,对比他们的重建质量如下:

原图                         官网                        rolux project          rolux encoder        pbaylies encoder

轻轻松松使用StyleGAN2(九):比较 StyleGAN2 重建真实人脸的四种方法_第1张图片轻轻松松使用StyleGAN2(九):比较 StyleGAN2 重建真实人脸的四种方法_第2张图片

看完以后,大家就会有了自己的看法。

如果是你,会选用哪个方案呢?

(完)

 

你可能感兴趣的:(轻轻松松使用StyleGAN2(九):比较 StyleGAN2 重建真实人脸的四种方法)