换脸技术 Deepfake Face2Face HeadOn FSGAN

一、换脸技术发展简史

概述:换脸技术的应用分为三类,即换脸/换五官,转换面部表情,转换面部与躯干运动。以下介绍按照时间顺序排列。

1. Face2Face:Real-time Face Capture and Reenactment of RGB Videos(转换面部表情)

由德国纽伦堡大学科学家 Justus Thies 的团队在 CVPR 2016 发布

可以非常逼真的将一个人的面部表情、说话时面部肌肉的变化、嘴型等完美地实时复制到另一个人脸上

论文:http://www.graphics.stanford.edu/~niessner/papers/2016/1facetoface/thies2016face.pdf

2. Deepfake:Face Swapping(换脸 / 换五官)

推出了 FakeApp(适用于Windows)

Github 上有相同的开源项目 FaceSwap(适用于Ubuntu) https://github.com/deepfakes/faceswap

3. HeadOn:Real-time Reenactment of Human Portrait Videos(转换面部表情与躯干运动)

由 Face2Face 原班团队做的升级版,在 ACM Transactions on Graphics 2018 发布

Face2Face 只能实现面部表情的转换,HeadOn 增加了身体运动和头部运动的迁移

论文: http://niessnerlab.org/papers/2018/7headon/headon_preprint.pdf

4. FSGAN:Subject Agnostic Face Swapping and Reenactment (换脸 & 转换面部表情)

ICCV 2019 未开源

论文:https://arxiv.org/pdf/1908.05932.pdf

二、FaceSwap demo

概述:利用 CLM框架与 OpenCV 可实现单张图片换脸,参考 https://blog.csdn.net/wi162yyxq/article/details/53883507 。若要实现视频换脸,需要事先收集大量 A 与 B 各个角度各种表情的人脸图像素材,针对视频帧的不同表情换脸,最后合成影片,但这将耗费宝贵的时间与精力。将换脸工作交给深度 GAN 自主学习可大量节省时间与精力,项目地址:

https://github.com/deepfakes/faceswap

1. 基本条件

Ubuntu16.04

GPU(Nvidia RTX 2070)

Anaconda Python3.6

Tensorflow-gpu

FFMPEG 截取原始影像帧 / 合成换脸后的视频

具体安装方法:https://github.com/deepfakes/faceswap/blob/master/INSTALL.md


2. 过程与结果

a. Extracting Faces

先从video clips里截取帧,再截取人脸,适用于有多段 video clips 素材的情况

$ ffmpeg -i video.mp4 -vf fps=5 "pic_name%04d.png"

video 一般 25frame/second, fps=5 不必截取每一帧

$ python faceswap.py extract -i ~/faceswap/src/frames_folder -o    ~/faceswap/faces/extracted_faces


也可直接从一段 video 里截取人脸,适用于一段video(自动截取每一帧)。

$ python faceswap.py extract -i ~/faceswap/src/video.mp4 -o  ~/faceswap/faces/extracted_faces


b. Training a model

换脸者A,B双方的训练资料最好 > 3000张

理想 Loss: 0.009-0.01

实际 Loss 0.022, Nvidia RTX 2080 Ti 训练28小时

c. Converting a video

按原始fps截取需要换脸的 video frames

利用训练好的模型转换 video frames

    python faceswap.py convert -i ~/faceswap/src/extracted_frames/ -o ~/faceswap/converted/ -m  ~/faceswap/A_B_model/

合成转换后的 video frames 至新视频

ffmpeg -f image2 -i converted_frames%04d.png -vcodec libx264 -crf 1 -pix_fmt yuv420p -vf fps=60 A_B.mp4


具体使用方法:https://github.com/deepfakes/faceswap/blob/master/USAGE.md

三、Face2Face demo

https://github.com/datitran/face2face-demo

1. 环境配置与安装

Ubuntu16.04

Anaconda Python3.5

Tensorflow 1.2

OpenCV 3.1.0

Dlib 19.4

OpenCV 3.1.0 安装过程坎坷,试过用 pip,conda 指令安装:

$ pip install opencv-python==3.1.0

$ pip install opencv-contrib-python==3.1.0

$ conda install opencv=3.1.0

虽然都成功安装并通过测试

$ import cv2

$ cv2.__version__ 

$ 3.1.0

但是在运行 generate_train_data.py 的时候总是在 cv2.destroyallwindows() 这行报错。


最后使用 Cmake-gui 安装成功,方法如下:

a. 不用安装opencv-contrib

b. cuda,python2,doc,example,test 所有选项取消勾选

c. WITH_GTK_2_X 勾选

d. PYTHON3 路径如下:


e.  在 ./opencv-3.1.0/modules/videoio/src/cap_ffmpeg_impl.hpp 里最顶端添加了

    #define AV_CODEC_FLAG_GLOBAL_HEADER (1 << 22)

    #define CODEC_FLAG_GLOBAL_HEADER AV_CODEC_FLAG_GLOBAL_HEADER

    #define AVFMT_RAWPICTURE 0x0020

f. $ make -j8

  $ sudo make install

  $ sudo ldconfig

  成功!!!


2. 过程与结果

a. 训练资料:原始图片与 Landmarks 各400张

b. 训练周期:200 epochs

c. 训练时间:3h with Nvidia RTX 2080Ti

d. 结果:欠拟合


a. 训练资料:原始图片与 Landmarks 各1500张

b. 训练周期:500 epochs

c. 训练时间:15h with Nvidia RTX 2080Ti

d. 结果:过拟合


背景噪声干扰大,不采用。

你可能感兴趣的:(换脸技术 Deepfake Face2Face HeadOn FSGAN)