ComfyUI AnimateDiff-Lightning 教程

介绍

项目主页: https://huggingface.co/ByteDance/AnimateDiff-Lightning

在线测试(有墙): https://huggingface.co/spaces/ByteDance/AnimateDiff-Lightning

国内镜像:https://hf-mirror.com/ByteDance/AnimateDiff-Lightning

AnimateDiff-Lightning 是从 AnimateDiff SD1.5 v2 模型中提炼出来的,包含 1 步、2 步、4 步和 8 步共 4 个蒸馏模型。其中 2 步、4 步和 8 步模型的生成质量较好,1 步模型目前仅用于研究目的。官方有在线体验网站,支持 8 种镜头运动,测试了一下 10 秒内就能生成一个 2s 的视频, 并且步数越高的模型生成的质量也越好。

安装

1,在ComfyUI-Manager内搜索节点直接安装。
2,git clone方法安装。

模型

模型文件推荐从国内镜像下载,下载地址:https://hf-mirror.com/ByteDance/AnimateDiff-Lightning/tree/main
下载后放到这个目录下面:comfyui根目录/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/

你需要多少步骤的,就下多少步骤的模型,都下载的话,程序里自己选择相应的就行。
animatediff_lightning_1step_comfyui.safetensors 这个是给comfyui用的,一看名字便知。
animatediff_lightning_1step_diffusers.safetensors 这个是给stable diffusion用的。

样例里还用到了另一个插件和模型,lllyasviel/ControlNet-v1-1
下载地址:https://hf-mirror.com/lllyasviel/ControlNet-v1-1/tree/main
放到comfyui根目录/models/controlnet/

样例

官方给了两个样例,原文里有写,找到下载就行
animatediff_lightning_workflow.json
animatediff_lightning_v2v_openpose_workflow.json
注意里面用到了DWPose 的话,将在首次运行时下载模型,但是容易因为网络问题失败,所以还是要先安装好DWPose插件和相关模型。

作者建议

视频不应太长或分辨率太高。建议使用 576x1024 8 秒 30fps 视频进行测试。

设置帧速率以匹配您的输入视频。这允许音频与输出视频匹配。

DWPose 可能会卡在 UI 中,但管道实际上仍在后台运行。检查 ComfyUI 日志和输出文件夹。

你可能感兴趣的:(ComfyUI,AIGC)