原文:
功能很多,都非常实用,文生图添加人物动作,线稿上色,景深等
个人经验,很菜不懂电脑,只做最基本使用的介绍
webui要比较新版的,大概2月份以后,本人使用2.05,似乎2.01更好点,推荐 秋葉aaaki 的启动器来更新,如果出现出图的时候卡了半天的情况,可能是在下载什么东西,下好了就行了
1.安装
https://github.com/Mikubill/sd-webui-controlnet 先是这个网站,(打开webui)把它
如上图,作者给出了下载方法。
如果没弄清楚,就是说打开webui,把这个网址复制到 扩展栏的install from URL 的第一行,点install即可
如果没梯子或者莫名其妙的原因安装失败(我就是
就在这里
解压,将文件夹放在这个位置
然后重新加载或重新启动webui
2.下载模型
https://huggingface.co/toyxyz/Control_any3
模型界面,各有各的功能不一定都下
模型注释(机翻,大致上介绍功能):
ControlNet/models/control_sd15_canny.pth
ControlNet+SD1.5 模型,用于使用精明边缘检测来控制 SD。
ControlNet/models/control_sd15_depth.pth
ControlNet+SD1.5模型使用Midas深度估计来控制SD。
ControlNet/models/control_sd15_hed.pth
ControlNet+SD1.5 型号使用 HED 边缘检测(软边缘)控制 SD。
ControlNet/models/control_sd15_mlsd.pth
ControlNet+SD1.5模型使用M-LSD线检测来控制SD(也可以与传统的Hough变换一起使用)。
ControlNet/models/control_sd15_normal.pth
ControlNet+SD1.5 模型使用法线贴图控制 SD。最好使用该 Gradio 应用程序生成的法线贴图。只要方向正确,其他法线贴图也可以工作(左边看红色,右边看蓝色,上看绿色,下看紫色)。
ControlNet/models/control_sd15_openpose.pth
ControlNet+SD1.5 模型,使用 OpenPose 姿势检测控制 SD。直接操纵姿势骨架也应该有效。
ControlNet/models/control_sd15_scribble.pth
ControlNet+SD1.5模型使用人类涂鸦控制SD。该模型使用边界边缘进行训练,具有非常强大的数据增强功能,以模拟类似于人类绘制的边界线。
ControlNet/models/control_sd15_seg.pth
ControlNet+SD1.5模型使用语义分割来控制SD。协议是ADE20k。
选择要使用的模型下好,目前最实用的大概为
ControlNet/models/control_sd15_openpose.pth 动作提取(注意真人图片能更有效),也可以自己画线条,可以很方便的定制动作
以及ControlNet/models/control_sd15_canny.pth 线稿上色
将下好的模型放置于此处
3.使用
打开webui
打开这里,没有的话就是没下好
出现这个界面
大致调用下方红圈几项即可使用,【不生效的话,尝试勾选Low VRAM (8GB or below)】
注意,如果出现模型无法读取,Model栏为空白,一般是webui版本跟不上,它读不出来,请更新webui
有的模型(指跑图用的模型)是不受这个插件影响的,请注意。推荐用a3测试是否可用,再换别的模型
这是机翻版本的界面
出图这部分照常使用,输入你想要的东西
如果出现出图的时候卡了半天的情况,可能是版本对不上,在下载什么东西,下好了就行了
完成,下面两张是动作提取的效果
大致就是这样
关于不生效的总结:
1.webui版本跟不上,需要的特殊模型无法读取,更新到大概2月份后版本
2..显存小,勾选Low VRAM (8GB or below)
3.使用的出图模型不受影响,请更换A3尝试,如果还不生效,请查看上两条
4.enable忘记勾了,我玩lora就老是忘勾这个
参考:【AI绘画】controlnet安装/使用教程 动作控制 景深 线稿上色 - 哔哩哔哩