程序员必备:头发去除魔法

说起程序员我们这个群体,除了给人的印象是春夏秋冬穿格子衫之外,就只剩下那后移的发际线成为办公室中那一道道靓丽的风景线:
程序员必备:头发去除魔法_第1张图片
每每在学习的时候,都感到从头开始的冷。
程序员必备:头发去除魔法_第2张图片
一个稀疏的发型,往往是资深工程师的象征:
程序员必备:头发去除魔法_第3张图片

所以说,头发越疏,责任越大。这不,浙江大学和腾讯游戏智能图形创新技术联合实验室联合发表了帮程序员们一部到位秃发得更彻底的算法
程序员必备:头发去除魔法_第4张图片

论文
《HairMapper: Removing Hair from Portraits Using GANs》

由于头发和面部之间存在复杂的遮挡情况。论文中主要利用StyleGan在潜在空间中去除头发的方法。

程序员必备:头发去除魔法_第5张图片
对于男性来说,主要有以下个步骤:

  • 首先利用e4e 编码原始图片,得到latent code w m + w_m^+ wm+
  • 然后利用StyleGan,去除头发,得到去发型的图像:
    程序员必备:头发去除魔法_第6张图片
  • 但由于去除头发后,头型与原来的不一样了,因此需要抠出原来的脸型,这里用到 InterFaceGAN。
    程序员必备:头发去除魔法_第7张图片
  • 最后用StyleGAN和InterFaceGAN生成的图像进行合成,得到完美的图像:
    程序员必备:头发去除魔法_第8张图片
    对于女性来说,由于头发和面部之间的遮挡更为复杂,同时数据集较少。因此需要先把其面部特征转换为男性,然后重复上述步骤。
    程序员必备:头发去除魔法_第9张图片
    同时项目作者已经贡献出训练集出来:
    程序员必备:头发去除魔法_第10张图片
    有了这种去除头发的魔法,想来程序员变强大不是梦想。。。。。
    程序员必备:头发去除魔法_第11张图片

项目地址
https://github.com/oneThousand1000/non-hair-FFHQ
有兴趣的,可以star一下这个项目。

参考:
(1)Omer Tov, Yuval Alaluf, Yotam Nitzan, Or Patashnik, andDaniel Cohen-Or. Designing an encoder for stylegan im-age manipulation.ACM Transactions on Graphics (TOG),40(4):133:1–133:14, 2021. 2, 3
(2)Rameen Abdal, Peihao Zhu, Niloy J Mitra, and Peter Wonka.Styleflow: Attribute-conditioned exploration of stylegan-generated images using conditional continuous normalizingflows.ACM Transactions on Graphics (TOG), 40(3):1–21,2021. 2, 4, 7
(3)Tero Karras, Miika Aittala, Janne Hellsten, Samuli Laine,Jaakko Lehtinen, and Timo Aila. Training generative ad-versarial networks with limited data. InAdvances in NeuralInformation Processing Systems, 2020. 2, 6
(4)HairMapper: Removing Hair from Portraits Using GANs

你可能感兴趣的:(有趣的论文,深度学习,GAN,StyleGan)