opencv+face_recognition+python实现换脸(face swap)操作1———基础理论概述

相关链接:
1、人脸特征点提取
2、基于普氏分析法(Procrustes Analysis)的代码实现
3、基于Delaunay 三角剖分的代码实现
使用opencv实现换脸主要分为人脸对齐和进行换脸操作
而人脸对齐中又包含:
1、脸部检测
2、脸部特征点提取
3、映射变换
换脸操作用到的是opencv中的泊松融合(seamlessClone)这个库

 cv2.seamlessClone(src, dst, mask, center, flags)

其中
src 目标影像,用于替换脸部的脸部图片

dst 背景图像,也就是要被替换脸部的图片

mask 目标影像上的mask

center 目标影像的中心在背景图像上的坐标!注意是目标影像的中心!

flags 选择融合的方式,目前有NORMAL_CLONE、MIXED_CLONE和MONOCHROME_TRANSFER三种方法。
接下来我们大致描述一下整个换脸的步骤流程:

1、提取两张图片的脸部特征点

对于两张照片(目标照片和源照片)分别均使用使用face_recognitio库的face_locations方法获得人脸边界坐标数组 ,再使用face_recognitio的face_landmarks的人脸特征点位置

2、为两张图片创建mask

首先创建一个全黑的图片,通过1中得到的人脸特征点位置使用opencv中fillPoly进行对特征点围成的区域填充白色就得到这张图片对应的mask

3、进行映射变换使得人脸对齐

我们知道目标图片和背景图片两张图片的大小不一样而且其脸部的大小和方向以及脸部特征的位置也不一样 我们需要通过映射变换的操作将目标图片变换成背景图片相对于的大小和方位 。图片的原始图片和其对应mask图片都需要进行这个操作。
这一步一般都需要1中提取的人脸特征点 变换的方法一般有 基于深度学习的方法,基于Delaunay 三角剖分的映射变换对齐 以及使用普氏分析法(Procrustes Analysis)的映射变换对齐

4、使用opencv的泊松融合将两张图片合成

 cv2.seamlessClone(src, dst, mask, center, flags)

泊松融合中 目标图片和MASK都应该是通过映射变换后的图片

你可能感兴趣的:(图像识别)