生成式人脸修复增强调研

对比近3年,有影响力的人脸修复工程

Real-ESRGAN

工程地址:https://github.com/xinntao/Real-ESRGAN
效果:
生成式人脸修复增强调研_第1张图片
人脸增强部分,调用的GFPGAN.
生成式人脸修复增强调研_第2张图片

GFPGAN

工程地址:https://github.com/TencentARC/GFPGAN
论文效果:
生成式人脸修复增强调研_第3张图片

BasicSR-ESRGAN:

项目地址:https://github.com/XPixelGroup/BasicSR/tree/master
效果:
![在这里插入图片描述])

CodeFormer

工程地址:https://github.com/sczhou/CodeFormer
论文效果:
生成式人脸修复增强调研_第4张图片

GCFSR

效果:
需要在源码中,添加脸部分对其,并且必须将原图resize到(512,512),否则跑不起来。
在这里插入图片描述

SCGAN

工程地址:https://github.com/HaoHou-98/SCGAN
效果:
生成式人脸修复增强调研_第5张图片
针对原分辨率16*16非常小的图,如果分辨率较大的图,输入进去很模糊。

初步结论:

生成式人脸修复增强调研_第6张图片

细致对比(GFPGAN,CodeFormer):

同样的测试环境(4090服务器)
GFPGAN:
纯粹超分部分时间消耗(输入:256,输出:512):
生成式人脸修复增强调研_第7张图片
纯粹超分部分时间消耗(输入:128,输出:256)
生成式人脸修复增强调研_第8张图片
Codefomer:
纯粹超分部分时间消耗(输入:512,输出:512)
生成式人脸修复增强调研_第9张图片
左边是原图,中间是Codefomer修复的结果,右边是GFPGAN修复的结果。
生成式人脸修复增强调研_第10张图片
生成式人脸修复增强调研_第11张图片
在这里插入图片描述
生成式人脸修复增强调研_第12张图片
生成式人脸修复增强调研_第13张图片

最终结论:

耗时方面:

  • CodeFormer只能处理输入(512* 512)的输入图片,模型出来512* 512的清晰图片,单张512* 512图片的处理时间,大概27ms。如果我们需要别的输入输出size,需要resize图片。
  • GFPGan可以处理多种输入输出,对于输入128*128,输出256 * 256的处理,单张图片处理时间大概在130ms左右;对于输入256 * 256,输出512 * 512的处理,单张图片处理时间大概在145ms左右。

生成式人脸修复增强调研_第14张图片
效果方面:

  • CodeFormer对输入图片均有增强的效果,比头发,脖子,衣领等,CodeFormer修复后有皮肤纹理,GFPGan修复后皮肤都比较光滑,且GFPGan仅仅只有人脸部分比较突出。
    -在这里插入图片描述
  • GFPGan对女生友好一些,因为自带磨皮效果,CodeFormer对男生友好一点,更加接近真实。
    但是CodeFormer对女生牙齿修复效果较差。但将修复的图片贴到原图,效果没那么难看。

此外,CodeFormer不仅能处理人脸图片增强,还能处理人脸图片修复。
比如:
生成式人脸修复增强调研_第15张图片

你可能感兴趣的:(GAN系列,计算机视觉,深度学习)