Stable Diffusion攻略集（Stable Diffusion官方文档、kaggle notebook、webui资源帖）

第一部分

本文翻译自stable-diffusion-webui官方文档

一、 Features：Textual Inversion（文本反转）

Textual Inversion：论文、博客，知乎贴、《paper笔记》

1.1 Textual Inversion 简介

1.1.1 摘要

  文生图模型为通过自然语言指导创作提供了前所未有的自由。然而，目前尚不清楚如何运用这种自由来生成特定独特概念的图像，修改其外观，或将其合成新角色和新场景。换言之，要把现实中的一些新概念（new concept）引入到生成中，单从文本出发还是不够的。

  本文提出了 personalized text-to-image generation，即个性化的文转图生成。可以基于文本+用户给的3-5张图（“new concepts”）来生成新的图像。

  提出了textual inversions，用于把图片概念转换成pseudo-words（伪单词）。然后一起合并到prompt中，从而生成一些具备这样概念的图片。

1.1.2 算法

  在大多数文生图模型的文本编码阶段，第一步是将prompt 转换为数字表示，而这通常是通过将words转换为tokens来完成的，每个token相当于模型字典中的一个条目（entry）。然后将这些entries转换为embeddings进行训练。

  我们发现了可以添加用户提供的special token （S*，表示新概念）来作为新的embedding。然后，将这个embedding link到新的伪单词，伪单词可以同其它词一样被合并到新的句子中。在某种意义上，我们正在对冻结模型的文本嵌入空间进行反转，所以我们称这个过程为Textual Inversion（文本反转）。

  我的理解，之前都是将文本编码为embedding进行训练，而Textual Inversion是将用户提供的图片（“A photo of S*”）以embedding的形式链接到某个伪单词上来表示一种概念。即embedding→文本，和之前是相反的过程。

模型结构如下图所示：

• 本文是基于latent diffusion做的，只改进了其中text encoder部分的词表部分，添加S*来表达新概念，其它token的embedding不变，从而实现与新概念的组合。
• 为了训练S*对应的文本编码v*，使用prompt “A photo of S*”生成新的图片，我们希望这个概念生成图片和用户给的图片相符合，从而学习到v*这个新概念。学到之后就可以利用S*来做新的生成了。
• 损失函数：让通过这个句子prompt产生的图片和用户给的small sample(3~5张图)越近越好：
  

1.1.3 模型效果

1. Image Variations：相似图生成
     因为embedding 的学习目标本身就是要生成一摸一样的图片，所以本文的相似图生成效果很好：
   
2. Text-guided synthesis（文本引导生成）
   下面是基于学到的新概念的生成：

  和CLIP guided的方法的对比：最相近的工作是PALAVRA——把新概念图片先得到image embedding，再用对比学习的方法转成text embedding，然后再进行生成，而本文是直接学习pseudo-word。在guided diffusion中，有init image的生成效果会好很多，但是还是会出现原来图片变形的问题。

3. Style transfer(风格迁移）
   通过in the style of 这样的prompt可以实现风格迁移：

Textual Inversion可以用来表示广泛的概念，包括视觉艺术风格。在某种意义上，我们可以学习一个代表特定艺术家或新艺术运动的伪词，并在未来的创作中模仿它。

4. Concept compositions（概念组合）
   不同图片概念，组合起来进行生成，Unfortunately, this doesn’t yet work for relational prompts, so we can’t show you our cat on a fishing trip with our clock.
   

5. Downstream applications
   我们的伪词适用于下游模型。例如，将旧照片添加一些新元素来增加它们的趣味性：（把第二排图片中蓝色部分替换为第一排的元素）
   

6. Reducing Biases（减少偏见，略）

1.2 Textual Inversion of webai

参考《Features：Textual Inversion》

   webai允许用户使用Textual Inversion 将自己的图片进行训练，得到一个embedding（预训练的embedding），用于指导新图片的生成。这个预训练embedding是一个.pt或.bin文件（前者是原始作者使用的格式，后者是diffusers library使用的格式）。

1.2.1 预训练embedding用于图片生成

  将预训练好的embedding（嵌入）放入embeddings目录，并在prompt中使用其文件名，无需重新启动程序即可生成新的图片。例如，下面是webai作者在WD1.2模型上，用53张图片（增强成119张）训练19500步后得到的Usada Pekora embedding。

prompt：portrait of usada pekora，Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 4077357776, Size: 512x512, Model hash: 45dee52b

您可以在一个prompt中组合多个embedding：（相比上图prompt多加了一个词——mignon）

prompt：portrait of usada pekora,mignon，Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 4077357776, Size: 512x512, Model hash: 45dee52b

  使用embedding生成新的图片时的模型，最好和训练这个embedding时的模型保持一致，否则生成效果可能不好。下面是WD1.2模型训练的usada pekora embedding，用在stable diffusion 1.4上进行生成的效果：（prompt和参数保持不变，但是生成的图片不是最开始的风格了）

prompt：portrait of usada pekora，Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 4077357776, Size: 512x512, Model hash: 45dee52b

1.2.2 训练embedding

1. embedding训练说明

   • 该功能非常原始，使用风险自负
   • 创建一个新的empty embedding，选择待训练图像的目录，进行embedding训练。
   • 启用半精度浮点运算，但需试验开启前后效果是不是一样好。如果显存足够，使用--no-half --precision full更安全
   • 用于UI自动运行图像预处理的部分。
   • 中断后重启训练，不会丢失任何数据
   • 不支持batch sizes 或 gradient accumulation（梯度累积，用于显存不足），不支持–lowvram 和 --medvram flags。

2. 参数说明

   • Creating an embedding
     • name：embedding的文件名。后续在prompt使用这个embedding时就用这个名字。
     • Initialization text（初始化文本）：用于新建empty embedding的初始化。
       • 新建后会用Initialization text的embedding填充empty embedding。也就是如果你创建empty embedding后又不训练，那么这个embedding和Initialization text的embedding是一样的。
       • 比如你新建一个名为“zzzz1234”的empty embedding，然后选“tree”这个词作为Initialization text。那么不进行任何训练时，“zzzz1234”和“tree”的embedding是一样的
     • Number of vectors per token：empty embedding的size。
       • 比如webai模型默认prompt的长度上限是75个token，如果设置Number of vectors per token=16，那么你将这个empty embedding加入prompt后，就只能再写75-16=59个token了。
       • empty embedding的size越大，就可以融合更多的主题信息（概念信息），相应的，你就需要更多的图片，才能训练好这个empty embedding。

• Preprocess：将目录下的图片进行Textual Inversion，并将结果写入另一个目录
  • Source directory：包含图像的目录
  • Destination directory：将写入结果的目录
  • Create flipped copies：对于每个图像，还要写入其镜像副本
  • Split oversized images into two：将过大的图像拆分为两张（短边与所需分辨率相匹配，两张图片可能相交）
  • Use BLIP caption as filename：使用BLIP模型向文件名添加标题。
• Training an embedding
  • Embedding：从下拉列表中选择要训练的嵌入。
  • Learning rate：学习率，设置得太高，可能会破坏embedding
    • 比如在训练中提示Loss:nan，训练失败）。使用默认值时，不会发生这种情况。
    • 设置多个学习率，比如0.005:100, 1e-3:1000, 1e-5表示前100步lr=0.005，101-1000步时lr=1e-3，最后lr=1e-5。
  • Dataset directory：待训练图像的目录。
  • Log directory：样本图像和部分训练的嵌入副本将写入此目录。
  • Prompt template file： text file with prompts，每行一个，用于训练模型。
    • 训练风格使用style.txt（只需要3、5张图片），训练主题使用subject.txt（Number of vectors per token越大，需要的图片就越多）。文件中可以使用以下tag：
      • [name]：embedding名称
      • [filewords]：来自数据集图像文件名的单词。有关更多信息，请参见下文。
    • 有关如何使用这些文件，请参阅textual_inversation_templates目录中的文件。
  • Max steps：Max steps步后完成训练。模型训练一张图片是一个step。如果您训练中断后重启，会保留step数。
  • Save images with embedding in PNG chunks：每次生成图像时，都会将其与最近记录的嵌入合并，并以可以作为图像共享的格式保存到image_embeddings中，然后将其放入嵌入文件夹并加载。
  • Preview prompt：如果不为空，此prompt将用于生成预览图；如果为空，the prompt from training will be used。
• filewords：
  • [filewords]：提示模板文件（ prompt template）的标签，默认下去掉图片文件名前面的数字和破折号（-）就是[filewords]，比如图片000001-1-a man in suit.png的[filewords]就是a man in suit，是一个文本。这个文本可用在prompt中。
  • 可以使用选项Filename word regex和Filename join string更改文件名中的文本。（感觉没必要，详情看原文档）

3. 第三方库
   webai训练embeddings时还使用了Stable-textual-inversion_win和InvokeAI这两个github仓库。还有一些是关于diffusers library或者colab上训练的选项。

1.2.3 Finding embeddings online

• huggingface concepts library ：有很多不同的emb
• 16777216c：NSFW，动漫艺术家风格。
• Catoroboto：一些匿名的动画embedding。
• viper1：NSFW，furry girls。
• anon’s embeddings -NSFW：动漫艺术家。
• rentry：包含多种SD模型的 Textual Inversion emb
  

1.2.4 Hypernetworks

  Hypernetworks是在不影响模型权重的情况下微调模型的概念。目前是在textual inversion选项卡里训练hypernets，训练方式和textual inversion相同，但是学习率很低，比如5e15或者5e-6。这部分可参考《Hypernetworks训练指南》。
  Unload VAE and CLIP from VRAM when training：这个选项卡允许降低预览图生成速度来减少显存。

二、 Features： Negative prompt

  Negative prompt用于指定不想生成的内容，使用Negative prompt可以消除了Stable Diffusion的常见畸形，比如多余的肢体。Negative prompt可单独使用（即不用 prompt）。
  要使用Negative prompt，只需以下步骤：

# prompts = ["a castle in a forest"]
# negative_prompts = ["grainy, fog"]

c = model.get_learned_conditioning(prompts)
uc = model.get_learned_conditioning(negative_prompts)

samples_ddim, _ = sampler.sample(conditioning=c, unconditional_conditioning=uc, [...])

  采样器（sampler）将比较prompt生成的图片和Negative prompt生成的图片之间的差异，并是最终生成结果逼近前者，远离后者。下面是一个演示：

• 原始图片有雾状（fog）、颗粒感（grainy，画质低）。Negative prompt为fog后雾状没了但是生成奇怪的紫色
• Negative prompt为fog，grainy， purple，没有雾状，画质高，也没有奇怪的紫色了。

negative prompt：None
negative prompt：fog
negative prompt：grainy
negative prompt：fog, grainy, purple

三、Xformers依赖

  Xformers库可以加速图像的生成（可选），没有适用于Windows的二进制文件（除了一个特定的配置外），可自行构建。

1. linux上构建Xformers的指南：

#切换到webui根目录
source ./venv/bin/activate
cd repositories
git clone https://github.com/facebookresearch/xformers.git
cd xformers
git submodule update --init --recursive
pip install -r requirements.txt
pip install -e 

2. Windows上构建xFormers（见原文档）

四、NVidia GPUs安装

在尝试安装之前，请确保满足所有必需的依赖项。

依赖项包括：

• 安装Python 3.10.6和git
• 运行git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git下载webai项目，后续可以使用git pull命令更新项目。（windows用户安装git for windows后，在某个文件夹里右键单击选择Git Bash here打开git，运行此命令下载项目。）
• 下载Stable Diffusion 模型文件（.ckpt）、sd-v1-4.ckpt放在项目根目录下的models/Stable-diffusion文件夹里。
• Stable-diffusion 2.x 版本的模型，需要下载配套的.yaml配置文件，并放在.ckpt同名的文件夹中：768-v-ema.ckpt config、512-base-ema.ckpt config、512-base-ema.ckpt config

4.1 自动安装

1. windows：运行webui-user.bat，如果运行失败可以参考Troubleshooting 。
2. Linux：项目根目录下运行：bash <(wget -qO- https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh)

python launch.py可自动运行模型，运行时可以使用一些命令参数，比如：

python launch.py --opt-split-attention --ckpt ../secret/anime9999.ckpt

4.2 自定义安装

  更改webui-user.sh中的变量，并运行bash webui.sh，接下来自定义安装步骤、AMD GPUs安装、见原文档。此文档还有WSL2安装，conda安装等。

  更多关于安装的详细教程，可以参考帖子《使用stable-diffusion-webui部署NovelAi/Stable Diffusion1.4 /1.5/2.0 保姆级教程、命令解释、原理讲解(colab、windows、Linux )》

五、命令行参数和优化

命令行参数	解释
--share	online运行，也就是public address
--listen	使服务器侦听网络连接。这将允许本地网络上的计算机访问UI。
--port	更改端口，默认为端口7860。
--xformers	使用xformers库。极大地改善了内存消耗和速度。Windows 版本安装由C43H66N12O12S2 维护的二进制文件
--force-enable-xformers	无论程序是否认为您可以运行它，都启用 xformers。不要报告你运行它的错误。
--opt-split-attention	Cross attention layer optimization 优化显着减少了内存使用，几乎没有成本（一些报告改进了性能）。黑魔法。默认情况下torch.cuda，包括 NVidia 和 AMD 卡。
--disable-opt-split-attention	禁用上面的优化
--opt-split-attention-v1	使用上述优化的旧版本，它不会占用大量内存（它将使用更少的 VRAM，但会限制您可以制作的最大图片大小）。
--medvram	通过将稳定扩散模型分为三部分，使其消耗更少的VRAM，即cond（用于将文本转换为数字表示）、first_stage（用于将图片转换为潜在空间并返回）和unet（用于潜在空间的实际去噪），并使其始终只有一个在VRAM中，将其他部分发送到CPU RAM。降低性能，但只会降低一点-除非启用实时预览。
--lowvram	对上面更彻底的优化，将 unet 拆分成多个模块，VRAM 中只保留一个模块,破坏性能
*do-not-batch-cond-uncond	防止在采样过程中对正面和负面提示进行批处理，这基本上可以让您以 0.5 批量大小运行，从而节省大量内存。降低性能。不是命令行选项，而是使用–medvramor 隐式启用的优化–lowvram。
--always-batch-cond-uncond	禁用上述优化。只有与–medvram或–lowvram一起使用才有意义
--opt-channelslast	更改 torch 内存类型，以稳定扩散到最后一个通道，效果没有仔细研究。

其它详见原文档。

六、安装和使用自定义脚本

  要安装自定义脚本，请将它们放入scripts目录，然后单击设置选项卡底部的Reload custom script按钮。安装后，自定义脚本将出现在txt2img和img2img选项卡的左下方下拉菜单中。以下是Web UI用户创建的一些著名的自定义脚本：

1. prompt改进脚本：https://github.com/ArrowM/auto1111-improved-prompt-matrix
   • 本脚本支持prompt矩阵格式，用于一次生成多个prompt，每个prompt可生成多张图片（脚本代码）
   • 使用<>创建一个prompt矩阵，矩阵中用|进行分隔。例如a wearing ，表示4个prompt：a corgi wearing goggles, a corgi wearing a hat, a cat wearing goggles, a cat wearing a hat。
   • 如果设置batch count > 1，忽略 batch size，每个seed，每个prompt都会进行生成。
     
2. txt2img2img：https://github.com/ThereforeGames/txt2img2img
   大大提高任何角色/主题的可编辑性，同时保持其相似性。该脚本的主要动机是提高通过Textual Inversion.创建的embedding的可编辑性。
3. txt2mask：https://github.com/ThereforeGames/txt2mask
   可以使用文本指定mask修复部分，而不是用笔刷。
   
4. Mask drawing UI：https://github.com/dfaker/stable-diffusion-webui-cv2-external-masking-script
   提供CV2支持的本地弹出窗口，允许在处理前添加掩码。
5. Img2img Video：https://github.com/memes-forever/Stable-diffusion-webui-video
   使用img2img，依次生成图片。
6. Seed Travel：https://github.com/yownas/seed_travel
   选择多个种子，并在它们之间生成插值图像序列，或者是一个视频，点此查看示例。
7. Advanced Seed Blending：https://github.com/amotile/stable-diffusion-backend/tree/master/src/process/implementations/automatic1111_scripts
   可以设定seed权重，例如：seed1:2, seed2:1, seed3:1，也可以使用浮点数：seed1:0.5, seed2:0.25, seed3:0.25。
8. Prompt Blending：https://github.com/amotile/stable-diffusion-backend/tree/master/src/process/implementations/automatic1111_scripts
   支持多个prompt的加权组合，例如：Crystal containing elemental {fire|ice}，也支持嵌套：Crystal containing elemental {{fire:5|ice}|earth}
9. Animator：https://github.com/Animator-Anon/Animator
   适用于制作视频

余下内容有空再写了。下面是模型部署和应用的一些资源收集贴，也没有好好整理，感觉太麻烦了。

---

第二部分 kaggle notebook

一、模型部署

• 此笔记本基于stable-diffusion-webui项目，默认使用momoko模型，点此即可打开。

1.1 kaggle notebook

1. 下载项目

#测试GPU
!nvidia-smi

#下载stable-diffusion-webui
%cd /kaggle/working/
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
    
#在models文件夹下新建新建hypernetworks目录
!mkdir -p  /kaggle/working/stable-diffusion-webui/models/hypernetworks 
%cd /kaggle/working/stable-diffusion-webui/models/Stable-diffusion

2. 切换喜欢的模型，默认是momoko

   • 更改模型的默认方法是，将input文件夹中你需要的模型移入working/stable-diffusion-webui/models/Stable-diffusion/文件夹下
   • 也可以使用ChangeModel函数更换模型，这种方式是更改读取模型的路径，所以不需要复制模型文件本体。如果模型生成图片老是有点灰色，在下面红色选项框中下拉选择VAE（前提是将模型对应的VAE文件复制到/kaggle/working/stable-diffusion-webui/models/VAE文件夹下）
   

   • momoko模型（色彩鲜艳，质量很高）和Anything模型的介绍，可参考视频《一键搭建代码更新anything及momoko-p模型》

   • 更多模型可见《Stable Diffusion Models》

  下面是将/kaggle/working/stable-diffusion-webui/modules/sd_models.py中，默认的模型读取地址model_dir = ".*?"用正则表达式替换为 model_dir = “/kaggle/input/{}”，其中 {} 被替换为变量 modelPath 的值。替换后将该内容写入sd_models.py文件。

#最新切换模型方法
import re,os,shutil

def ChangeModel(modelPath):
    with open ('/kaggle/working/stable-diffusion-webui/modules/sd_models.py','r') as f:
        tt = f.read()
    tt = re.sub('model_dir = ".*?"','model_dir = "/kaggle/input/{}"'.format(modelPath),tt)
    
    with open ('/kaggle/working/stable-diffusion-webui/modules/sd_models.py','w') as f:
        f.write(tt)


#在你想要使用的模型对应的代码前去掉#，其他模型的对应代码前加上#
chooseModel = ''

#二次元
#chooseModel='animefulllatestckpt'      #1. 7g animefull-final-latest,二次元和写实风兼有
#chooseModel='animefullfinalpruned'     #2. 4g animefull-final-pruned,二次元风格
#chooseModel='anythingv3'               #3. 7g Anything-v3.0 Novel AI最新模型
chooseModel='momoko'                    #4. momoko
#chooseModel='mignon'                   #5. Mignon
#chooseModel='moxing'                   #6. MomoCha&Mecha
#chooseModel='nicenice'                 #7. nice

#写实风
#chooseModel='stable-diffusion-1-5'     #1. stable-diffusion 1.5
#chooseModel='inpainting'               #2. stable diffusion 1.5 inpainting,（专用于inpaint的模型）
#chooseModel='stable-diffusion-2-768'   #3. stable diffusion 2.0
#chooseModel='redshiftdiffusionv1'      #4. edshift diffusion v1
#chooseModel='modf222'                  #5. f222
#chooseModel='insins'                   #6. ins写真风
#chossModel='realyolyjijiajohn'         #7. 融合多个模型的写实风

model_list=['momoko','animefullfinalpruned','redshiftdiffusionv1','mignon','nicenice','insins']
if chooseModel in model_list:
    try:
    	# shutil.copytree(src,dst)。将文件夹 src 中全部文件递归复制到 dst ，dst 若不存在时系统自动创建~
        shutil.copytree('/kaggle/input/tagcomplete3w2cn/wd14-tagger/wd14-tagger','/kaggle/working/stable-diffusion-webui/extensions/wd14-tagger')
    except:
        pass
else:
    try:
    	# 递归删除整个文件夹下所有文件，包括此文件夹
        shutil.rmtree('/kaggle/working/stable-diffusion-webui/extensions/wd14-tagger/')
    except:
        pass
ChangeModel(chooseModel)
print('模型已切换成：'+chooseModel)

3. 安装扩张功能和插件、脚本
   a. 扩展功能：

!apt install -y aria2 # Aria2是一个命令行下载器，可从百度网盘下载资源

# 安装animefull-final-latest (可选)
!aria2c -d /kaggle/working/stable-diffusion-webui https://cloudflare-ipfs.com/ipfs/bafybeiav3j7npiuewbel3mi32l3sidgkw54kuleosbhxmdvddbnvtfi7yu/config.yaml
#!aria2c https://pub-2fdef7a2969f43289c42ac5ae3412fd4.r2.dev/animefull-latest.ckpt
#!aria2c -d /kaggle/working/stable-diffusion-webui/models/Stable-diffusion https://raw.githubusercontent.com/Stability-AI/stablediffusion/main/configs/stable-diffusion/v2-inference-v.yaml


# 安装embeddings (可选)
!aria2c https://cloudflare-ipfs.com/ipfs/bafybeie3hdjchxs5tz4n75bos53nhcklslguxchdurc2ynrzcfv2kwyklu/embeddings.tar
!tar xvf embeddings.tar -C /kaggle/working/stable-diffusion-webui/embeddings && rm -rf embeddings.tar


# 安装hypernetwork （可选)
!aria2c https://cloudflare-ipfs.com/ipfs/bafybeiduanx2b3mcvxlwr66igcwnpfmk3nc3qgxlpwh6oq6m6pxii3f77e/_modules.tar  
!tar xvf _modules.tar -C /kaggle/working/stable-diffusion-webui/models/hypernetworks && rm -rf _modules.tar

b. 安装插件

• 参考《Stable-diffusion-webui 插件拓展及依赖汇总》、插件翻译列表(（含主要插件）
• 详细文档和项目地址见《a1111-sd-webui-tagcomplete》，也可参考帖子《Prompt自动补全脚本》

• tagcomplete：本脚本为 stable-diffusion-webui的自定义脚本,能在输入Tag时提供booru风格（如Danbooru）的TAG自动补全。因为有一些模型是基于这种TAG风格训练的（例如Waifu Diffusion），因此使用这些Tag能获得较为精确的效果。
• DeepDanbooru：DeepDanbooru是一个动漫风格的女孩图像标签评估系统，在webui的img2img选项页，第一次点击deepdanbooru时程序会自动下载pt检查点文件并调用。
• images-browser：这是一个图像浏览器，用于浏览过去生成的图片，查看其生成的信息，将提示发送到txt2img或img2img，将图像收集到您的“收藏夹”文件夹，删除您不再需要的图像，您还可以在计算机中的任何文件夹中浏览图像
• webUI简体中文语言包,简体中文翻译扩展，适用于 stable diffusion webui。
• Aesthetic Gradients
  • 美学权重功能(以插件形式提供),借助该功能,可以在保持作品原始的总体构图上提高美观度。
  • 结合hypernetwork使用效果更佳
  • 支持txt2img和img2img

将上述插件下载后复制到extensions文件夹，即可完成安装。

%cd /kaggle/working/stable-diffusion-webui/extensions
# 下载安装webUI简体中文语言包，tagcomplete补全Tag插件、images-browser
!git clone https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN
!git clone https://github.com/DominikDoom/a1111-sd-webui-tagcomplete
!git clone https://github.com/yfszzx/stable-diffusion-webui-images-browser

c. 安装脚本
webui也提供众多脚本，详细介绍参考官方文档Custom Scripts。下面选了一个提示词矩阵脚本。

• 本脚本支持prompt矩阵格式，用于一次生成多个prompt，每个prompt可生成多张图片（脚本代码）
  • 使用<>创建一个prompt矩阵，矩阵中用|进行分隔。例如a wearing ，表示4个prompt：a corgi wearing goggles, a corgi wearing a hat, a cat wearing goggles, a cat wearing a hat。
  • 如果设置batch count > 1，忽略 batch size，每个seed，每个prompt都会进行生成。
• 注意：使用提示词矩阵脚本，但是其实没有设置提示词矩阵，图片生成时会出现报错

%cd /kaggle/working/stable-diffusion-webui/scripts/
!git clone https://github.com/ArrowM/auto1111-improved-prompt-matrix

4. 启动模型，开始生成图片

参考《使用stable-diffusion-webui搭建AI作画平台使用stable-diffusion-webui搭建AI作画平台》

• --share参数 会得到一个以.app.gradio 结尾的链接，这是在协作中使用该程序的预期方式。(不加 --share 没法远程使用)
• 安装并启动stable-diffusion-webui，成功后打开public URL就可以生成图片了
• 报错No module ‘xformers‘. Proceeding without it是因为没装xformers，运行以下代码安装

%cd /kaggle/working/stable-diffusion-webui
# 加载模型。sed -i表示将字符串直接写入sd_models.py文件
!sed -i 's/map_location="cpu"/map_location="cuda"/g' /kaggle/working/stable-diffusion-webui/modules/sd_models.py
import gc
gc.collect()
#  use normal stable-diffusion
!COMMANDLINE_ARGS="--share --gradio-debug --config config.yaml --disable-safe-unpickle " REQS_FILE="requirements.txt" python launch.py

将生成的图片进行打包，方便下载。

!zip -q -r output.zip /kaggle/working/stable-diffusion-webui/outputs 
!mv /kaggle/working/stable-diffusion-webui/output.zip /kaggle/working/output.zip

5. webui界面介绍
   通过前面的安装配置，你就可以通过你设置的端口进行访问。访问内容后分为几个大的模块;

• txt2img — 标准的文字生成图像；
• img2img — 根据图像成文范本、结合文字生成图像；
• Extras — 优化(清晰、扩展)图像；
• PNG Info — 图像基本信息
• Checkpoint Merger — 模型合并
• Textual inversion — 训练模型对于某种图像风格
• Settings — 默认参数修改

此部分请参考知乎贴《模型应用—使用Stable Diffusion UI手册》使用部分。

6. 手把手教你在linux中手动编译并安装xformers

1.2 colab、windows部署

详见《部署NovelAi/Stable Diffusion1.4 /1.5/2.0 保姆级教程》

二、进阶教程

2.1 Prompt运用规则及技巧

参考《NovelAI资源及使用技巧收集汇总》、《Stable-diffusion 标签Tag (脸部方法构造)》、元素同典、元素法典、《魔咒百科词典》、《Prompt Magic Tutorial》

1. 通用Tag起手式：

   • 正向：
     masterpiece, best quality, 更多画质词，画面描述
   • 反向：
     nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

2. 越靠前的Tag权重越大；比如景色Tag在前，人物就会小，相反的人物会变大或半身。

3. 生成图片的大小会影响Prompt的效果，图片越大需要的Prompt越多，不然Prompt会相互污染。

4. 在Stable Diffusion 中使用()英文括号可增加括号中Tag在画面中的权重 x1.1，[]可减小Tag权重x0.91。在NovelAi官网中，使用{}增加权重x1.05。

5. Prompt支持使用emoji，且表现力较好，可通过添加emoji达到表现效果。如形容表情，可修手。

6. “+” ， “ AND” ， “|” 用法：

   • “+”和“ AND ”都是用于连接短Tag，但AND两端要加空格。"+“约等于” and "
   • “|” 为循环绘制符号（融合符号）
     (Prompt A: w1)|(Prompt B: w2)
     以上表达适用于WebUI，w1、w2为权重。AI会对A、 B两Prompt进行循环绘制。可往后无限加入Prompt。

7. Prompt格式优化：简易换行三段式表达：

   • 第一段： 画质tag，画风tag
   • 第二段：画面主体，主体强调，主体细节概括。（主体可以是人、事、物、景）画面核心内容。第二段一般提供人数，人物主要特征，主要动作（一般置于人物之前），物体主要特征，主景或景色框架等
   • 第三段：画面场景细节，或人物细节，embedding tag。画面细节内容

8. 元素同典调整版语法：
   质量词→前置画风→前置镜头效果→前置光照效果→（带描述的人或物AND人或物的次要描述AND镜头效果和光照）*系数→全局光照效果→全局镜头效果→画风滤镜（embedding）

实例展示：

parameters:

Prompt：

(((masterpiece))), best quality, ultra-detailed, extremely detailed CG unity 8k wallpaper,best illustration, an extremely delicate and beautiful,floating,high resolution,

dynamic angle,dynamic pose,(1girl),blue eyes,(multicolored_hair+silver hair:1.3+red hair:1.2+purple hair+yellow hair:1.3+green hair:1.3), white wuxia clothes,neck ribbon, beautiful face,

too many drops of water,cloud,twilight, wide shot,watercolor,

Negative prompt:

lowres, bad anatomy, bad hands, text,error, missing fIngers,extra digt ,fewer digits,cropped, worst quality ,low quality,normal quality, jpeg artifacts,signature,watermark, username, blurry, bad feet,fused body,

Steps: 34, Sampler: DPM++ 2S a, CFG scale: 10.5, Seed: 1351767725, Size: 960x576, Model hash: 925997e9, Eta: 0.68, Clip skip: 2, ENSD: 31337
GFPGAN visibility:1.Upscale: 3, visibility: 1.0, model:ESRGAN_4x

更多内容请看原贴。

也可简单一点，使用chatGPT来实现stable-diffusion描述词生成、让chatGPT帮你AI绘画

2.2 Model资源

  使用注意：与ckpt文件同名的vae.pt文件用于稳固该模型的表现，直接放在相同文件夹即可。训练时将该文件改名或移走。并不是所有模型都需要使用vae文件

公开资源：

• https://rentry.org/sdmodels（目前觉得比较全）
• https://cyberes.github.io/stable-diffusion-models/（SD模型）
• https://publicprompts.art/（App Icon Generator，比较有趣想资源）
• https://huggingface.co/ （在网站中检索） 作者：小白随心所欲

2.3 Embedding/ Hypernetwork使用及训练

参考《NovelAI资源及使用技巧收集汇总》、《NovelAI hypernetwork 自训练教程》

2.4 Dreambooth使用及训练

• 秋叶训练视频《保姆式Dreambooth训练教程 autodl在线训练 NovelAI》《dreambooth使用教程》
• 白菜的教程《dreambooth 训练风格/人物》 、星空教程《DreamBooth多人物和物体训练法 Colab云端训练》
• 知乎《StableDiffusion/NAI DreamBooth自训练全教程》、

2.5 插件介绍

1. Aesthetic-gradients（美术风格embedding）使用
   • 素材保证高质量，尺寸不限，随建随用。优化画风，效果同emb和hypernetwork。batch按图片数量填就行。
   • 建议图片集尽量挑选画风一致的图片，就算是同一画师，不同的画也有区别。
2. X/Y plot（参数对比）
   通过设置X轴和Y轴的参数，可以产出参数变化的对比图。
   
   如上图填写X轴为hypernetwork,只需填上hypernetwork的文件名即可。注意，开头逗号和结尾逗号会分别在开头和结尾生成一张效果同none的图片。