如何本地部署虚拟数字克隆人 SadTalker

环境:

Win10

SadTalker

问题描述:

如何本地部署虚拟数字克隆人 SadTalker

如何本地部署虚拟数字克隆人 SadTalker_第1张图片

解决方案:

SadTalker:学习逼真的3D运动系数,用于风格化的音频驱动的单图像说话人脸动画

单张人像图像 ♂️+音频=会说话的头像视频

一、底层安装

安装 Anaconda、python 和 git

1.下载安装Anaconda

conda是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 conda是为 python程序创建的,适用于 Linux,OS X和Windows,也可以打包和分发其他软件。conda分为Anaconda和MiniConda。Anaconda是包含一些常用包的版本,Miniconda则是精简版,一般建议安装Anaconda,本文也以安装Anaconda为例
在这里插入图片描述next一直往下直到完成(需要一点时间)
如何本地部署虚拟数字克隆人 SadTalker_第2张图片

2.安装Git

next一直往下直到完成

如何本地部署虚拟数字克隆人 SadTalker_第3张图片
3.安装python

next一直往下直到完成
如何本地部署虚拟数字克隆人 SadTalker_第4张图片

二、创建环境并安装需求

D盘新建SadTalker文件夹

1.git再这里打开

如何本地部署虚拟数字克隆人 SadTalker_第5张图片

2.安装 ffmpeg

下载 ffmpeg-6.1-full_build,解压到D:\SadTalker\

cmd设置环境变量

setx path "%path%;D:\SadTalker\ffmpeg-6.1-full_build\bin\ffmpeg.exe" /M

如何本地部署虚拟数字克隆人 SadTalker_第6张图片

3.通过运行 git clone https://github.com/Winfredy/SadTalker.git 下载 SadTalker 存储库

git clone https://github.com/Winfredy/SadTalker.git

失败
如何本地部署虚拟数字克隆人 SadTalker_第7张图片 去掉https后面s

git clone http://github.com/Winfredy/SadTalker.git

如何本地部署虚拟数字克隆人 SadTalker_第8张图片

如何本地部署虚拟数字克隆人 SadTalker_第9张图片

5.在下载部分下载检查点和 gfpgan 模型。
Run start.bat from Windows Explorer as normal, non-administrator, user, and a Gradio-powered WebUI demo will be started.

从Windows资源管理器正常运行 start.bat ,非管理员,用户和Gradio驱动的WebUI演示将启动。

三、下载模型

Pre-Trained Models 预训练模型

1.checkpoints
如何本地部署虚拟数字克隆人 SadTalker_第10张图片如何本地部署虚拟数字克隆人 SadTalker_第11张图片
移到到SadTalker文件夹

2.GFPGAN Offline Patch GFPGAN 离线补丁

解压到SadTalker文件夹如何本地部署虚拟数字克隆人 SadTalker_第12张图片

四、Quick Start 快速上手

1.打开SadTalker目录,点击webui.bat等待安装部署

如何本地部署虚拟数字克隆人 SadTalker_第13张图片
中途报错
升级一下

python -m pip install --upgrade pip


下载相关文件

首次使用,自动安装
在这里插入图片描述

就好了,最终看到这个界面

如何本地部署虚拟数字克隆人 SadTalker_第14张图片

浏览器访问http://127.0.0.1:7860即可

如何本地部署虚拟数字克隆人 SadTalker_第15张图片

CLI usage CLI 用法
Animating a portrait image from default config:
从默认配置对人像图像进行动画处理:

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --enhancer gfpgan 

The results will be saved in results/$SOME_TIMESTAMP/*.mp4.
结果将保存在 results/$SOME_TIMESTAMP/*.mp4 中。
Full body/image Generation:
全身/图像生成:

Using --still to generate a natural full body video. You can add enhancer to improve the quality of the generated video.
用于 --still 生成自然的全身视频。您可以添加 enhancer 以提高生成的视频的质量。

python inference.py --driven_audio <audio.wav> \
                    --source_image <video.mp4 or picture.png> \
                    --result_dir <a file to store results> \
                    --still \
                    --preprocess full \
                    --enhancer gfpgan 

你可能感兴趣的:(人工智能,SadTalker,数字人)