AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程 - 哔哩哔哩

原文:

功能很多,都非常实用,文生图添加人物动作,线稿上色,景深等

个人经验,很菜不懂电脑,只做最基本使用的介绍

webui要比较新版的,大概2月份以后,本人使用2.05,似乎2.01更好点,推荐 秋葉aaaki 的启动器来更新,如果出现出图的时候卡了半天的情况,可能是在下载什么东西,下好了就行了

1.安装

https://github.com/Mikubill/sd-webui-controlnet 先是这个网站,(打开webui)把它

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第1张图片

如上图,作者给出了下载方法。

如果没弄清楚,就是说打开webui,把这个网址复制到 扩展栏的install from URL 的第一行,点install即可

如果没梯子或者莫名其妙的原因安装失败(我就是

就在这里

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第2张图片

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第3张图片

解压,将文件夹放在这个位置

然后重新加载或重新启动webui

2.下载模型

https://huggingface.co/toyxyz/Control_any3

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第4张图片

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第5张图片

模型界面,各有各的功能不一定都下

模型注释(机翻,大致上介绍功能):
 

 

ControlNet/models/control_sd15_canny.pth

  • ControlNet+SD1.5 模型,用于使用精明边缘检测来控制 SD。

ControlNet/models/control_sd15_depth.pth

  • ControlNet+SD1.5模型使用Midas深度估计来控制SD。

ControlNet/models/control_sd15_hed.pth

  • ControlNet+SD1.5 型号使用 HED 边缘检测(软边缘)控制 SD。

ControlNet/models/control_sd15_mlsd.pth

  • ControlNet+SD1.5模型使用M-LSD线检测来控制SD(也可以与传统的Hough变换一起使用)。

ControlNet/models/control_sd15_normal.pth

  • ControlNet+SD1.5 模型使用法线贴图控制 SD。最好使用该 Gradio 应用程序生成的法线贴图。只要方向正确,其他法线贴图也可以工作(左边看红色,右边看蓝色,上看绿色,下看紫色)。

ControlNet/models/control_sd15_openpose.pth

  • ControlNet+SD1.5 模型,使用 OpenPose 姿势检测控制 SD。直接操纵姿势骨架也应该有效。

ControlNet/models/control_sd15_scribble.pth

  • ControlNet+SD1.5模型使用人类涂鸦控制SD。该模型使用边界边缘进行训练,具有非常强大的数据增强功能,以模拟类似于人类绘制的边界线。

ControlNet/models/control_sd15_seg.pth

  • ControlNet+SD1.5模型使用语义分割来控制SD。协议是ADE20k。

选择要使用的模型下好,目前最实用的大概为

ControlNet/models/control_sd15_openpose.pth 动作提取(注意真人图片能更有效),也可以自己画线条,可以很方便的定制动作

以及ControlNet/models/control_sd15_canny.pth 线稿上色

将下好的模型放置于此处

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第6张图片

3.使用

打开webui

打开这里,没有的话就是没下好 

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第7张图片

出现这个界面

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第8张图片

大致调用下方红圈几项即可使用,【不生效的话,尝试勾选Low VRAM (8GB or below)】

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第9张图片

注意,如果出现模型无法读取,Model栏为空白,一般是webui版本跟不上,它读不出来,请更新webui

有的模型(指跑图用的模型)是不受这个插件影响的,请注意。推荐用a3测试是否可用,再换别的模型

这是机翻版本的界面

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第10张图片

出图这部分照常使用,输入你想要的东西

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第11张图片

如果出现出图的时候卡了半天的情况,可能是版本对不上,在下载什么东西,下好了就行了

完成,下面两张是动作提取的效果

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第12张图片

AI绘画 新多功能controlnet插件,草图上色,动作骨架提取等功能,安装及下载教程_第13张图片

大致就是这样

关于不生效的总结:

1.webui版本跟不上,需要的特殊模型无法读取,更新到大概2月份后版本

2..显存小,勾选Low VRAM (8GB or below)

3.使用的出图模型不受影响,请更换A3尝试,如果还不生效,请查看上两条

4.enable忘记勾了,我玩lora就老是忘勾这个

参考:【AI绘画】controlnet安装/使用教程 动作控制 景深 线稿上色 - 哔哩哔哩

你可能感兴趣的:(图象处理,python,计算机视觉,开发语言)