wave2lip训练

论文：https://arxiv.org/pdf/2008.10010.pdf

训练源码：https://github.com/Rudrabha/Wav2Lip

经过调整过的代码：https://gitee.com/sparkle__code__guy/wave2lip 

ffmpeg的安装：https://blog.csdn.net/sslfk/article/details/123050218 ，可以window，也可以linux

训练配置：首先必须依赖GPU

下载源码，下载专家判别系统：Sign in to your account

并将模型放到 checkpoints文件目录下

第一步：准备视频数据，爬取可以通过硕鼠爬取想要的人物说话风格数据

第二步：执行preprocess.py，执行命令如下：

python preprocess.py --ngpu 1 --data_root /home/guo/wave2lip/wave2lip_torch/Wav2Lip/data/original_data --preprocessed_root /home/guo/wave2lip/wave2lip_torch/Wav2Lip/data/preprocessed_root

其中，data_root为原始视频地址，preprocessed_root为处理完的视频存放的位置；准备的视频数量至少为3个才可以。

第三步骤：获取对应的文件列表并更新到filelists/train.txt和filelists/eval.txt。只保存对应的视频名称即可。代码可以参考，对视频样本冲命名并生成对应的命名列表，此处视频文件数量过少<2，会报错：

from glob import glob
import shutil,os
result = list(glob("/home/guo/wave2lip/wave2lip_torch/Wav2Lip/data/preprocessed_root/original_data/*"))
print(result)
result_list = []
for i,dirpath in enumerate(result):
    shutil.move(dirpath,"./data/preprocessed_root/original_data/".format(i))
    result_list.append("{}".format(i))
print("\n".join(result_list))

第四步骤：

执行如下命令，开始训练：

python wav2lip_train.py --data_root ./data/preprocessed_root/original_data --checkpoint_dir ./savedmodel --syncnet_checkpoint_path ./checkpoints/lipsync_expert.pth

训练过程如下图：

 其他环境配置参考：README.md · 仓库11360838 - Gitee.com

模型预测：

python inference.py --checkpoint_path Wav2Lip/savedmodel/checkpoint_step000000001.pth --face Wav2Lip/data/original_data/test.mp4 --audio Wav2Lip/data/preprocessed_root/original_data/1/audio.wav 

调整后的代码路径为： https://gitee.com/sparkle__code__guy/wave2lip

有需要联系请邮箱：[email protected]