2D数字人,唇形驱动,DINet项目的模型训练和推理

简单的模型训练和推理,不涉及源码等的修改,超级简单!!!!

示例1
示例2

数据集准备

几段录好的人物说话的视频,要求:

  1. 人物口型清晰
  2. 视频帧数统一调整为 25 fps
  3. 视频录得多一点
  4. 找不到的可以使用 AVSpeech 数据集,自行百度

需要下载的文件和工具

  1. OpenFace
    x64_github
    x86_github
    用于人脸关键点的检测,训练和推理的时候都需要

  2. asserts.zip
    将该文件放在项目的根目录,并解压到 asserts 文件夹

本来想分享阿里云盘的,但是不让分享,下载的网络问题各位自行解决吧2D数字人,唇形驱动,DINet项目的模型训练和推理_第1张图片

数据集预处理

打开 OpenFaceOffline.exe(下载的我提供的网盘文件,不然要先运行 download_models.ps1 下载模型文件,下载不动的自行解决网络问题)’=

!!!!必须先进行如下设置再进行接下来的操作!!!!
2D数字人,唇形驱动,DINet项目的模型训练和推理_第2张图片

设置完成后,点击 File ===> Open Video(s),采集自己的视频,完成后会在 processed 文件夹下生成如下三个文件

在这里插入图片描述

我们只需要 .csv 文件,将其放在

./DINet/asserts/training_data/split_video_25fps_landmark_openface/

将你的数据集视频(不是这里的 .avi 文件)放在

./DINet/asserts/training_data/split_video_25fps/

依次运行以下代码进行数据处理

从所有视频中提取帧并将帧保存在“./asserts/training_data/split_video_25fps_frame”中
python data_processing.py --extract_video_frame

你可能感兴趣的:(2D数字人唇形驱动,python,pytorch,神经网络,人工智能,tensorflow,opencv,计算机视觉)