背景
ipadapter相关的节点大家应该都不陌生,具体是做什么的就不详细介绍了,但是还是有很多新入门的朋友不太了解这个节点相关的这一堆模型到底应该怎么安装。这里就借着官方节点的介绍来大概讲下这个话题。
涉及到的节点源地址:https://github.com/cubiq/ComfyUI_IPAdapter_plus
安装方法
大家在安装这个节点的时候,可能会发现很多up,包括我自己之前分享过的一些ipadapter模型安装方法不好用了,是因为ipadapter这个节点和涉及的模型,在过去的几个月发生了变化,而且不向下兼容,所以并不是up藏着掖着,而是的确时代变化快。
现在稳定了一段时间了,所以根据官方的使用说明来讲解下:
第一步:安装ComfyUI IPAdapter plus节点,具体安装方法相信大家都已经知道了,如果还不知道,欢迎购买文章最后的基础入门课,限时特价只要¥49.9;
注意,IPAdapter 始终需要最新版本的 ComfyUI。如果某些功能不起作用,请务必升级。请注意,管理器的自动更新有时不起作用,您可能需要手动升级。
第二步:现在有一个统一模型加载器节点,英文名:Unified Model Loader,也就是,要使其工作,您需要按照下面所述准确命名文件。旧版加载器可以使用任何文件名,但您必须手动选择它们。
模型可以放入子目录中。
请记住,您还可以使用文件ipadapter
中的任何自定义位置设置条目extra_model_paths.yaml
。
/ComfyUI/models/clip_vision
- CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors,下载并重命名为左侧这个名字;
- CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors,下载并重命名为左侧这个名字;
- clip-vit-large-patch14-336.bin,仅适用于 Kolors 型号,下载并重命名为左侧这个名字;
/ComfyUI/models/ipadapter
,如果不存在则创建
- ip-adapter_sd15.safetensors,基础模型,平均强度
- ip-adapter_sd15_light_v11.bin,光影响模型
- ip-adapter-plus_sd15.safetensors,Plus型号,非常强大
- ip-adapter-plus-face_sd15.safetensors,脸部模型,肖像
- ip-adapter-full-face_sd15.safetensors,更强的人脸模型,但并不一定更好
- ip-adapter_sd15_vit-G.safetensors,基础模型,需要 bigG clip vision 编码器
- ip-adapter_sdxl_vit-h.safetensors,SDXL 模型
- ip-adapter-plus_sdxl_vit-h.safetensors,SDXL plus 型号
- ip-adapter-plus-face_sdxl_vit-h.safetensors,SDXL 人脸模型
- ip-adapter_sdxl.safetensors,vit-G SDXL 模型,需要 bigG clip vision 编码器
- 已弃用 ip-adapter_sd15_light.safetensors,v1.0 光影响模型
FaceID模型需要insightface
,您需要在 ComfyUI 环境中安装它。查看此问题以获取帮助。请记住,大多数 FaceID 模型还需要 LoRA。
为了使统一加载器正常工作,文件命名必须与下面列表显示的完全一致。
/ComfyUI/models/ipadapter
- ip-adapter-faceid_sd15.bin,基础 FaceID 模型
- ip-adapter-faceid-plusv2_sd15.bin,FaceID plus v2
- ip-adapter-faceid-portrait-v11_sd15.bin,人像文字提示风格转换
- ip-adapter-faceid_sdxl.bin,SDXL 基础 FaceID
- ip-adapter-faceid-plusv2_sdxl.bin,SDXL plus v2
- ip-adapter-faceid-portrait_sdxl.bin,SDXL文本提示风格转换
- ip-adapter-faceid-portrait_sdxl_unnorm.bin,超强风格转换,仅限 SDXL
- 已弃用 ip-adapter-faceid-plus_sd15.bin,FaceID plus v1
- 弃用 ip-adapter-faceid-portrait_sd15.bin,肖像模型 v1
大多数 FaceID 模型都需要 LoRA。如果您使用,IPAdapter Unified Loader FaceID
只要您遵循命名约定,它就会自动加载。否则您必须手动加载它们,请注意每个 FaceID 模型都必须与其自己的特定 LoRA 配对。
/ComfyUI/models/loras
- ip-适配器-faceid_sd15_lora.safetensors
- ip-适配器-faceid-plusv2_sd15_lora.safetensors
- ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
- ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL plus v2 LoRA
- 已弃用 ip-adapter-faceid-plus_sd15_lora.safetensors,适用于已弃用的 FaceID plus v1 模型的 LoRA
所有模型都可以在huggingface上找到。
社区模型
社区已经孵化了一些有趣的 IPAdapter 模型。
/ComfyUI/models/ipadapter
- ip_plus_composition_sd15.safetensors,忽略样式和内容的通用组合,更多信息请见此处
- ip_plus_composition_sdxl.safetensors,SDXL 版本
- Kolors-IP-Adapter-Plus.bin,适用于 Kolors 型号的 IPAdapter Plus
- Kolors-IP-Adapter-FaceID-Plus.bin,Kolors 模型的 IPAdapter FaceIDv2。注意: Kolors 在 InsightFace antelopev2模型上进行训练 ,您需要手动下载并将其放在
models/inisghtface
目录中。
当然,如果你想了解下,以后遇到类似的问题,通用的解题思路是什么,欢迎订阅我的comfyui基础入门课程,比如说ipadapter这种难装的节点,一般是怎么去学习和理解的,在课程中的第13章也有讲到,并且附带了镜像的模型链接;
【第13章】进阶调试思路:如何安装复杂节点IP-Adapter?(安装/复杂报错/节点详情页/精读)ComfyUI基础入门教程_ip-adapter安装-CSDN博客
https://pan.quark.cn/s/7903c599ad3f
✨写在最后
如果对comfyui还不熟悉的话,最近面向ComfyUI的新手,写了一门系统性入门图文课程,现在已经更新完成了,内容主要包括如何下载软件、如何搭建自己的工作流、关键基础节点讲解、遇到报错怎么解决等等,如果大家在学习过程中遇到什么问题,也可以直接对应的文章下留言,会持续更新相关答疑内容哈。欢迎订阅哦~
https://blog.csdn.net/jumengxiaoketang/category_12683612.html
感谢大家的支持~