【AI绘图】五、stable diffussion模型的介绍与使用

1. 下载模型

主流模型下载网站：

1）Hugging face 是一个专注于构建、训练和部署先进开源机器学习模型的网站： https://huggingface.co/

2）Civitai 是一个专为 Stable Diffusion AI 艺术模型设计的网站： https://civitai.com/

3）哩布哩布是国内的一个模型网站，类似C站： https://www.liblibai.com/#/model/6235

2.模型分类

如何选择合适模型是最重要的。

从你想画的风格（写实、二次元、卡通盲盒等）来选择大模型，再搭配合适的 Lora。

1）Checkpoint

体积较大，也被称为大模型，不同的大模型使用不同的图片训练而成，对应不同的风格，相当于最底层的引擎。有时候需要大模型+VAE+emb+Lora 联合搭配使用以达到需要的效果。

下载的大模型可放置于 SD 文件夹/models/Stable-diffusion 内。

2）Lora

Lora 是特征模型，体积较小，是基于某个确定的角色、确定的风格或者固定的动作训练而成的模型，可使用权重控制，确定性要远强于 embedding。embedding 和 Lora 有功能交集的部分，也有互相不可取代的地方。

在 ckpt 大模型上附加使用，对人物、姿势、物体表现较好。在 webui 界面的 Additional Networks 下勾线 Enable 启用，然后在 Model 下选择模型，并可用 Weight 调整权重。权重越大，该 Lora 的影响也越大。不建议权重过大（超过 1.2），否则很容易出现扭曲的结果。

多个 Lora 模型混合使用可以起到叠加效果，譬如一个控制面部的 Lora 配合一个控制画风的 Lora 就可以生成具有特定画风的特定人物。因此可以使用多个专注于不同方面优化的 Lora，分别调整权重，结合出自己想要实现的效果。

LoHA 模型是一种 LORA 模型的改进。

3）VAE

VAE 模型类似滤镜，对画面进行调色与微调，一般需要搭配相应的模型一起使用。（如果图片比较灰，颜色不太靓丽，就可能是没加载 vae)

下载的 VAE 可放置于 SD 文件夹/models/VAE 内。