爆火上热搜！抖音「变身漫画」特效是如何实现的？

（给机器学习算法与Python学习加星标，提升AI技能）

作者：付静

来源：雷锋网（leiphone-sz）

在名为 #特效都整不大李荣浩的眼睛# 的话题下面，有一个李荣浩杨丞琳二人结婚照的换脸视频，只见换脸后的李荣浩眼睛完全变成了一条线，孙红雷也转发微博“五十步笑百步”：

这个特效太过分了，李先生，有人黑你！

对此，网友的评论清一色成了“哈哈哈哈哈”。

细心的人可能留意到了视频里的抖音 APP logo。没错！上面这个对小眼睛群体不怎么友好的功能正是抖音新上线的「变身漫画」特效。

而在这样的真人一键变身漫画的效果背后，是生成式对抗网络 GAN（Generative Adversarial Networks）。 

1. 一键打破次元壁

当前，抖音「变身漫画」特效荣登热门挑战榜的“本周实时榜”（2002 年 6 月 15-21 日）TOP 1，已有约 867.2 万用户使用。

其中，不少明星拍了同款视频，玩法也是五花八门。

比如陈赫拿出神似苍蝇拍的“神秘钥匙”解除二次元封印。

邓紫棋擦玻璃换脸。

张艺兴来一段 rap 的功夫已经不知道用手势在次元之间穿梭了多少回了。

进入二次元后，明星们的发型、五官等细节“神还原”，同时还多了一丝俏皮灵动。

不过，把真人变成漫画画风并不稀奇了。近几年特效拍照 APP 层出不穷，用户想把图片、视频变成漫画风、古风、手绘风、油画风，甚至想换性别、变年龄，都不是问题。

2. 生成式对抗网络 GAN

提到换脸，就绕不开一项技术——生成式对抗网络 GAN。 

雷锋网此前曾报道，GAN 作为一种深度学习模型，是机器学习中一个较新的概念，首次出现于 2014 年 10 月前谷歌大脑著名科学家 Ian Goodfellow 及其团队发表的论文《对抗式生成网络》（Generative Adversarial Networks）中。

机器学习的模型分为生成模型（Generative Model）和判别模型（Discriminative Model）两种，顾名思义，其各自的功能分别是根据数据集生成和判断。

而 Ian Goodfellow 之所以能成为“GANs 之父”，就在于创造性地提出了一个通过对抗（Adversarial）估计生成模型的概念，同时训练生成模型和判别模型，让二者进行对抗，生成模型要尽可能地生成真实的图片去欺骗判别模型，与此同时判别模型也要尽量把生成模型生成的图片和原数据集区分开。

这一过程就像游戏中的两个玩家进行 battle，一开始两脸懵逼，最后“真理越辩越明”。这种机器之间自发的相互学习，可以说是非常智能了。

而 GAN 的种类也不少，其中最常见的比如说 Cycle GAN。

实际上，CycleGAN 是人脸转换早期的一个重要尝试，能从源转换到目标，也能进行反向转换，从而便捷地学习了两个类别之间的转换关系，也更好地保证了转换后的图像品质。

如上图所示，能把斑马变成马，那么即便是换个动作，马也能再次转换成斑马；同理，夏天能变冬天，换了场景后冬天也可以变回夏天。

虽然上文所说的抖音动漫风换脸特效并未公开具体的技术信息，但此前将人脸变为漫画形象的尝试的确用到了 CycleGAN，相关论文也在 2019 年 7 月登上了预印本平台 arXiv。

值得一提的是，这项研究利用的是所谓的 landmark assisted CycleGAN。

据论文介绍，这里的“landmark”不是我们经常说的“地标”，而是指面部特征，所以我们可以将这种技术理解为 CycleGAN 特别版——「有人脸特征辅助的 CycleGAN」。

技术如何，还是看看效果（雷锋网注：右二列为 CycleGAN 生成；右一列由有人脸特征辅助的 CycleGAN 生成）。

现实中的美女变成了二次元小萝莉。

型男生成的漫画形象看上去也不错。

此外，也有研究团队曾基于 GAN，利用面部特征，将低分辨率图像转换为高分辨率图像。感觉多年的老近视被治好了！

看到这里是不是想感叹一句真神奇？

其实还有更神奇的，比如大变活人。

这是西班牙一家互联网国际象棋棋盘制造商 REGIUM 网站上的员工个人信息页面，看上去似乎并没有什么异常。但实际上，框出来的四位工程师都是“假人”，现实生活中并不存在。

雷锋网了解到，这些“人造人”来自国外一个造脸网站 this person does not exist.com，而这些照片也都是基于 GAN。

不过，随着换脸技术出现的还有诸多问题——比如曾经一夜爆火、三天凉凉的 ZAO APP 和在全世界范围内臭名昭著的 Deepfake，都引起了各界的担忧。

怎样合理地利用这类换脸技术，是个需要思考的问题。

引用来源：

• https://blog.csdn.net/cf2SudS8x8F0v/article/details/80035700

• https://arxiv.org/abs/1703.10593

• https://arxiv.org/pdf/1907.01424.pdf

• https://arxiv.org/pdf/1908.08239.pdf

推荐阅读
《推荐算法工程师培养计划》

Python 3.9 正式版要来了，会有哪些新特性？

【四】零基础入门深度学习：卷积神经网络基础之池化和Relu

李宏毅机器学习完整笔记发布，AI界「最热视频博主」中文课程笔记全开源

反转！“阿里员工招小三进公司”造谣者公开道歉，阿里回应：我们不任人宰割编排

GitHub标星 7.7 万+的中文资源，新老司机各取所需