Python+OpenCV实现实时视频3D换脸

开发环境

 

• Python 2.X或Python3.X

• OpenCV

• NumPy

• DLIB

• pygame

• PyOpenGL

必须从此处下载面部对齐模型：https://sourceforge.net/projects/dclib/files/dlib/v18.10/shape_predictor_68_face_landmarks.dat.bz2并将其解压缩到主项目目录。

 

运行机制

 

首先，我们获取输入图像（我们想要在自己的脸上看到的人的图像）并找到面部区域及其地标。一旦我们得到了我们将3D模型拟合到那些地标（稍后更多），投射到图像空间的模型的顶点将是我们的纹理坐标。一旦完成并且所有内容都已初始化，相机将开始捕获图像。对于每个捕获的图像，执行以下步骤：

 

1. 检测面部区域并定位面部标志。

2. 3D模型适用于定位的地标。

3. 使用pygame渲染3D模型，其中初始化期间获得纹理。

4. 使用羽化（α混合）和非常简单的颜色校正将渲染模型的图像与从相机获得的图像混合。

5. 最终图像显示给用户。

 

整个过程中最关键的因素是3D模型的拟合。该模型本身包括：

 

1. 中性面的3D形状（顶点集），

2. 一些混合形状，可以添加到中性面，以产生张口，眉毛等，

3. 面部形状的一组三元组，形成面部的三角形网格，

4. 两组索引，用于建立由界标定位器找到的界标与3D面部形状的顶点之间的对应关系。

 

使用以下等式将模型投影到图像空间中：

 

 

其中s是投影形状，a是缩放参数，P是旋转3D表面形状的旋转矩阵的前两行，S_0是中性面形状，w_1-n是混合形状权重，S_1-n是blendshapes，t是2D平移向量，n是混合形状的数量。

 

通过最小化投影形状和局部标志之间的差异来完成模型拟合。使用高斯牛顿法，相对于混合形状权重，缩放，旋转和平移完成最小化。

 

案例效果

 

接下来使用实时视频将爱因斯坦的脸移植到我的脸上~

 

原图片如下：

 

移植后效果如下： 

 

 

案例下载

 

案例Demo下载：https://download.csdn.net/download/m0_38106923/10593086