Stable Diffusion + ControlNet指导AI+艺术设计的WebUI全流程使用教程

设计师们往往对于新出的绘画工具上手比较艰难，本文针对目前比较火热的Stable Diffusion+ControlNet指导AI艺术设计的工具使用进行全面讲解。很多人会有预感，未来要么设计师被图形学程序员取代，要么会使用AI工具的设计师取代传统设计师，2023年开始，AI辅助设计甚至主导设计已经成了司空见惯的现象。

软硬件环境：
OS: Ubuntu 20.04(Stable Diffusion开发需要Linux 环境，纯使用Web工具也可在WIndows下运行)
CPU: AMD5800 8core 16Thread
GPU: NVIDIA RTX 3090 * 2
RAM: 16GB * 4
Pytorch-gpu=1.13
CUDA=11.7

一. 背景知识

1.1 Stable Diffusion背景知识

1.2 ControlNet 背景知识

二. 使用方法

目前开放AI+艺术设计工具的方式多为Web交互界面，接入互联网后调用AI公司内部的云GPU服务器，服务器计算后返回结果给用户。其大多有次数或功能限制，或者收费较高。本部分讲述如何利用本地GPU工作机进行Web交互式AI绘图。

2.1 环境配置

下载以下四个源代码/模型文件：

1. 主要使用的SD的Web版本(第三方，非官方)：

   stable-diffusion-webui

2. 下载SD官方的v1.5模型：
   runwayml/stable-diffusion-v1-5

3. 下载ControlNet的Web版本(第三方，非官方):
   Mikubill/sd-webui-controlnet

4. 下载ControlNet官方发布的模型：
   lllyasviel/ControlNet/tree/main/models

下载好后首先进入stable-diffusion-webui 中，注意将 Mikubill/sd-webui-controlnet 的源代码放在 extensions 目录下面:

将下载好的ControlNet源代码目录中的models 复制到extensions 下面：

2.2 运行WebUI

在命令行中执行脚本(注意不要使用sudo命令，否则会不成功):

./webui.sh 

接下来脚本自动进行环境安装和模型加载。加载完毕后会返回一个本地Web网址，访问这个网址可以进行本地浏览器界面交互：

复制url，打开浏览器，即可得到带有ControlNet功能的SD的WebUI交互界面，可以利用界面上面的组件进行本地的快速交互设计开发。

三. 背景知识

3.1 Stable Diffusion参数详解

Sampling method: 采样方法

Sampling steps:采样迭代步数

Restore faces: 面容修复

Tiling: 生成平铺纹理

Highres.fix: 高分辨率修复

Firstpass width: 一开始的低分辨率的宽

Firstpass height: 一开始的低分辨率的高

CFG scale: 数值越小，AI多样性越多，越大限制越多

Seed: 种子数

Variation seed: 在原来种子数的基础之上的子种子数

Denoising strength：跟原来图片的差距大小

3.2 ControlNet 参数详解

1. 2D重绘
   Canny Edge
   HED Boundary
   M-LSD Lines
   Faske Scribbles
2. 专业领域
   Depth Map
   Normal Map
   Semantic Segmentation
   Human Pose

四. 定制化技巧