人脸替换（FaceSwap）的一些思考

人脸替换（FaceSwap）的一些思考

最一开始，我使用了openCV（一个机器学习视觉库）的一个比较专业的tutorial（之前人脸检测也是使用了这个）中提供的一种人脸替换的方式。主要思路是，假设脸A要替换为脸B，先检测出脸A和脸B的脸部标记（facial landmarks，包括眼睛、鼻子、嘴巴等等诸多特征点的位置），针对脸B所有特征点构造一个凸包，凸包（外边界）上的点两两连接，可以划分出很多小的三角形，然后利用微分的思想将这些每个小三角形替换（仿射等变换）到脸A对应的位置，最后openCV提供了让结果图显得看起来自然一些的处理函数（泊松克隆，Seamless cloning）。

其实以上这种处理方式对图片上的人脸替换应用需求已经比较足够了，比如图output.jpg，它原本是特朗普的脸，替换为了泰德·科鲁兹的脸（虽然乍一看有些不自然，但感觉总体还是不错的）

接下来我使用Premiere自制了一段简单的小视频，本质上就是特朗普图片的缩放和移动。然后我们进行视频中人脸的替换实验，得到输出视频。我们很容易发现存在的问题，就是视频中脸部的抖动问题。

（以上这个方法和我之前在处理的模块化的应用一样，实现步骤比较简易，但是由于预期目标的不同，所以可能给人的满意度会大有不同。像人脸检测的话，我们的bounding box有一定抖动其实影响不大，但是人脸替换则不然。）

关于脸部抖动的原因，我思考了一下，主要应该是因为人脸检测的时候每一帧得到的每个脸部标记点的相对位置变动性导致的。通俗地讲，第1帧的鼻子和嘴巴的标记点之间可能距离20个像素点，但是第2帧的鼻子和嘴巴的标记点之间可能距离25个像素点，因为我们送入到人脸检测模型里的是一帧对应的一整张图片，人脸的大小以及人脸在这整张图片上的位置都会影响最后脸部每个标记点的位置以及标记点之间的相对位置。所以导致了从第1帧到第2帧可能发生的脸部抖动的问题。

所以我也查阅了一下其他的人脸替换方法。

第一个是DeepFakes，它是使用深度神经网络做图像生成。我大致看了一下它的基本思想，通俗地讲，假设要把脸A替换为脸B，那么我们自行将脸B的图片进行各种方式的扭曲化（扭曲方式应该是有讲究的），得到大量扭曲化图片的集合S_B，我们训练一个深度神经网络模型M能将S_B里每张扭曲化的脸还原为脸B，之后我们把脸A送入模型M，这样我们就能较好的实现把脸A替换为脸B。

第二个是DeepFaceLab，也只是大致看了一下，需要使用tensorflow机器学习框架。

这两种方法和一开始第一种方法不同。一开始第一种方法只是在人脸检测的过程中运用了机器学习的思想，用的是pretrained的预测模型，而真正到替换的时候只是简单的做仿射变换而已；但是后两种的话就比较彻底、完整地在使用机器学习方法做人脸替换，效果个人感觉应该会好不少。但是后两种方法如果想要较好地利用起来可能还得花不少时间配置环境、看懂技术细节。