sadtalker-- 本地生成数字人

概要

sadtalker，可以根据图片以及语音，生成动态视频，跟现在的数字人直播电商差不多，制作成视频后加个推流到直播间即可。本章节，主要记录从无到有搭建sadtalker环境，期间也出现了多个问题，也做了相应的记录。

工具讲解

这里把安装包都集成了，需要的可以自行下载，也可以根据官网提示自行下载…
百度网盘：此处

1. python-3.10.6-amd64：必须是这个版本，github官网也是这样说的
2. Everything 64位_1.4.1.1024：用于寻找本地文件的，找到pip.ini文件，并且删除，避免其他源造成环境污染
3. 7-Zip 64位_23.1.0.0：用于解压文件，系统自带的话可不用安装
4. checkpoints：模型文件，解压到sadtalker 根目录即可 {{sadtalkerDir}}/checkpoints
5. ffmpeg-release-full：用于数字人运行环境
6. SadTalker-main：数字人运行文件

安装流程

sadtalker github：此处

官方流程简化版

1. 安装Python 3.10.6，选中“将 Python 添加到 PATH”。
2. ffmpeg按照此说明安装。
3. 下载我们的 SadTalker 存储库。.
4. 下载checkpoint以下gfpgan ↓。
5. 进入根目录，执行 webui.bat 文件。

1. 安装Python

下载地址：Python 3.10.6
需要选中下方复选框，将环境添加到系统中...

2. 安装FFmpeg

官方下载地址：FFmpeg
官方傻瓜式教程：此处
太多步骤了，简单来说就是下载后，添加到环境变量...
略…

3. 安装Sadtalker

下载

解压

运行webui.bat

这里报错了
ERROR: Could not find a version that satisfies the reguirement torch==1.12.1+cu113 (from versions: 2.0.0, 2.0.1)
ERROR: No matching distribution found for torch==1.12.1+cu113

检测后发现是其他python版本3.11.x 问题，重新安装python3.10.6即可…

1. 卸载其他版本，并且删除遗留的配置文件
2. 安装python3.10.6
3. 重启电脑
4. 删除sadtalker文件夹
5. 重新解压运行webui.bat

再次运行webui.bat
好家伙，又失败了…

这边用everything，清空了其他的python环境，并且将之前设置的清华源配置文件删除了，删了SadTalker-main 文件夹，重新来一遍。
并且在上面那个步骤，用了科学上网然后就可以了…

删除配置文件

效果如下：

又报错了...到这里就可以正常打开了，但是呢，不可以生成，因为还没有导入模型...

打开命令行CMD，看看报错信息

4. 导入模型

官网上也可以找到，这边直接放在网盘了，解压即可

使用流程

1. 生成语音

2. 上传图片跟语音

3. 点击生成，漫长等待

等不了了，太慢了，还是手动下载 (缺啥下啥就好了)

ctrl+鼠标左键，然后科学上网下载。。。

在把科学上网关闭，重新打开 webui.bat，重新生成视频，如下：

短一点的语音没问题，我放了30s的语音就报错了，可能是内存原因，如果你报错了，可以继续执行第四步…

4. 虚拟内存

---

终于可以了~~~

小结

本章节到这里就结束了，下一步尝试接入opengpt，干就完事了…