Python+OpenCV实现实时视频3D换脸

目录

开发环境

运行机制

案例效果

案例下载

• 开发环境

1. Python 2.X或Python3.X
2. OpenCV
3. NumPy
4. DLIB
5. pygame
6. PyOpenGL
7. 必须从此处下载面部对齐模型：https://sourceforge.net/projects/dclib/files/dlib/v18.10/shape_predictor_68_face_landmarks.dat.bz2并将其解压缩到主项目目录。

• 运行机制

首先，我们获取输入图像（我们想要在自己的脸上看到的人的图像）并找到面部区域及其地标。一旦我们得到了我们将3D模型拟合到那些地标（稍后更多），投射到图像空间的模型的顶点将是我们的纹理坐标。一旦完成并且所有内容都已初始化，相机将开始捕获图像。对于每个捕获的图像，执行以下步骤：

1. 检测面部区域并定位面部标志。
2. 3D模型适用于定位的地标。
3. 使用pygame渲染3D模型，其中初始化期间获得纹理。
4. 使用羽化（α混合）和非常简单的颜色校正将渲染模型的图像与从相机获得的图像混合。
5. 最终图像显示给用户。

整个过程中最关键的因素是3D模型的拟合。该模型本身包括：

1. 中性面的3D形状（顶点集），
2. 一些混合形状，可以添加到中性面，以产生张口，眉毛等，
3. 面部形状的一组三元组，形成面部的三角形网格，
4. 两组索引，用于建立由界标定位器找到的界标与3D面部形状的顶点之间的对应关系。

使用以下等式将模型投影到图像空间中：

其中s是投影形状，a是缩放参数，P是旋转3D表面形状的旋转矩阵的前两行，S_0是中性面形状，w_1-n是混合形状权重，S_1-n是blendshapes，t是2D平移向量，n是混合形状的数量。

通过最小化投影形状和局部标志之间的差异来完成模型拟合。使用高斯牛顿法，相对于混合形状权重，缩放，旋转和平移完成最小化。

• 案例效果

接下来使用实时视频将爱因斯坦的脸移植到我的脸上~

原图片如下：

移植后效果如下： 

• 案例下载

案例Demo下载：https://download.csdn.net/download/m0_38106923/10593086

知识拓展：给各位小伙伴们分享类似AI项目：Python+OpenCv实现AI人脸识别身份认证系统(1)——人脸识别原理