全面理解Stable Diffusion采样器
全面理解Stable Diffusion采样器
原文：Stable Diffusion Samplers: A Comprehensive Guide
在 AUTOMATIC1111 的 SD webui 中，有许多采样器（sampler），如 Euler a，Heun，DDIM，… 什么是采样器？他们如何工作？他们之间的区别是什么？我们应该用哪种采样器？本文将带给你答案。
什么是采样？
在生成图片时，Stable Diffusion 会先在隐层空间（latent space）中生成一张完全的噪声图。噪声预测器会预测图片的噪声，将预测出的噪声从图片中减去，就完成了一步。重复该过程，最终将会得到清晰的图片。
由于 Stable Diffusion 在每一步都会产生一个新的图像样本，因此去噪的过程被也被称为采样。采样过程所使用的方法被称为采样方法或采样器。
采样只是 Stable Diffusion 模型中的一部分。如果想理解完整的 Stable DIffusion，推荐阅读 How does Stable Diffusion work? 。
下面是一个采样过程的动态展示，采样器逐渐地产生越来越干净、清晰的图像。
虽然整体框架是相同的，但是有许多不同的方法来执行具体的去噪过程。这通常需要速度和准确度之间两相权衡。
Noise Schedule
我们已经介绍过，在 Stable Diffusion 中，噪声图像是每步减去模型预测出的噪声，一点一点变成干净图像的。noise schedule 就是用来控制在每个采样步中噪声的强度的。噪声在第一步最大，慢慢降低，直到最后一步降为0。
在每一步中，采样器的工作就是根据 noise schedule 中对应的该步的噪声强度，减去对应的噪声，来产生该步的去噪图像。如果我们增大采样步数会有什么影响呢？每一步噪声下降的会更少，这有助于减少采样过程中的截断误差。
下面是 15 步和 30 步的 noise schedule 的对比。
| 总步数 | 15 | 30 |
|---|---|---|
| noise schedule |  |
 |
采样器总览
到本文写作时，SD webui 共支持 19 中采样器，而且随着时间的推移越来越多。那么，不同的采样器之间有何区别呢？
目前为止，SD webui 支持的采样器：
Euler a、Euler、LMS、Heun、DPM2、DPM2 a、DPM++ 2S a、DPM++2M、DPM++ SDE、DPM fast、DPM adaptive、LMS Karras、DPM2 Karras、DPM2 a、Karras、DPM++2S a Karras、DPM++ 2M Karras、DPM++ SDE Karras、DDIM、PLMS。
本文后半部分会详细介绍，技术上细节很多。所以这里先提供一个总览的视角，帮助大家对各种采样器有一个大致的了解。
Old-School ODE Solvers
我们先来看最简单的一类，这些采样器中的发明时间都已经超过一百年了，它们是就老式的常微分方程（ODE）求解器（solver）。
- Euler：最简单的求解器；
- Heun：比 Euler 更准确，但也更慢
- LMS（Linear Multi-Step method）：和 Euler 一样快，但（应该会）更准确
Ancestor Samplers
你是否注意到某些采样器名字里带了一个字母 a？
- Euler a
- DPM2 a
- DPM++ 2S a
- DPM++ 2S a Karras
他们就是祖先采样器。祖先采样器会在每个采样步对图像添加噪声。祖先采样器都是随机（stochastic）采样器，因为他们的采样结果具有随机性。但是，注意也有其他的名字中不带 a 随机采样器。
祖先采样器有一个缺点，就是其采样结果图片不会收敛。以下是 Euler 和 Euler a 的采样过程对比：
| 采样器 | Euler 采样结果收敛 | Euler a 采样结果不收敛 |
|---|---|---|
| 采样过程实例 |
可以看到，Euler a 的采样结果不收敛，而 Euler 的采样结果收敛得很好。考虑到可复现性，我们通常更喜欢可以收敛的结果。当然，如果想要稍微有些变化，可以使用 variational seed。
Karras noise schedule
名字中带有 Karras 的采样器，是使用了 Karras 的论文中推荐的 noise schedule。如果仔细观察可以发现，Karras 推荐的 noise schedule 中，接近终点附近的的几步值会更小，他们发现这种策略会有更好的生图质量。
DDIM和PLMS
DDIM (Denoising Diffusion Implicit Model) 和 PLMS (Pseudo Linear Multi-Step method) 是 SDv1 带的两种采样器。DDIM 是第一批转为扩散模型设计的采样器之一，而 PLMS 是 DDIM 更新、更快的版本。
这两种采样器现在看来已经有些过时了，一般不再广泛使用。
DPM和DPM++
DPM (Diffusion probabilistic model solver) and DPM++ 是一系列发布于 2022 年的新型扩散模型采样器。他们代表了一些具有类似结构的求解器。
DPM 和 DPM2 很类似，但是 DPM2 是二阶的，更准确但是更慢。
DPM++ 是 DPM 的优化版本。
DPM adaptive 可以自适应地调整每一步的值。它可能会非常慢，因为他并不确保扩散过程在某个确定的采样步数内能完成。
UniPC
UniPC (Unified Predictor-Corrector) 是一种发布于 2023 年的新型采样器。灵感来自于 ODE 求解器中的 predictor-corrector 方法，可以在 5-10 步采样出高质量的图片。
k-diffusion
最后，你可能听说过 k-diffusion 并好奇这是什么东西。它其实就是指 Katherine Crowson 的 GitHub 仓库： k-diffusion，该仓库实现了 Karras 论文中提到的诸多采样器。
实际上，SD webui 中除了 DDIM、PLMS 和 UniPC 外的其他所有采样器都是使用的 k-diffusion 仓库的实现。
评估采样器
如何选择采样器？本节将会进行一些客观的对比，来帮助你选择。
Image Convergence
本小节将会使用不同的采样器生成相同的图片，最大采样步数为 40。在第 40 步的最后一张图片将作为参考，来评估采样器收敛的速度。Euler 将作为参照。
Euler, DDIM, PLMS, LMS Karras and Heun
首先我们看一下 Euler, DDIM, PLMS, LMS Karras and Heun 这几个采样器，他们是老式的 ODE 求解器或者是扩散模型原始的求解器。
可以看到，DDIM 与 Euler 的收敛步数差不多，但是变动更大，这是因为 DDIM 会在采样步中注入随机噪声。
PLMS 在本次测试中表现不佳，收敛性最差。
Heun 收敛得很快，但采样速度实际要慢两倍，因为它是一种二阶的方法。所以我们应该对比 Heun 第 30 步的结果与 Euler 第 15 步的基准结果。
Ancestral Samplers
如果你的目标是产生稳定、可复现的采样结果，那么你不应该使用祖先采样器。因为他们都带有随机性，且不会收敛。
DPM and DPM2
在 DPM 系列采样器中，DPM fast 无法很好地收敛，DPM2 和 DPM2 Karras 的收敛性看起来比 Euler 要好，但别忘了，它们也是二阶的方法，速度要慢两倍。
DPM adaptive 看起来很好，但他是用的自己的自适应步数，实际可能非常慢。
DPM++ Solvers
DPM++ SDE 和 DPM++ SDE Karras 与祖先采样器有相同的问题，他们不仅不收敛，而且随着步数的变化，图片质量也会波动。
DPM++ 2M and DPM++ 2M Karras 收敛性不错。 在步数足够大时，Karras 的策略会收敛得很快。
UniPC
UniPC 收敛得比 Euler 稍慢，但也还不错。
Speed
虽然前面看到，DPM adaptive 收敛性很不错，但速度这里可以明显看到他是最慢的。
除了 DPM adaptive 外，可以看到剩下的采样器分为了两组。分别差不多是一倍时间和两倍时间。这反映出的是求解器的阶次，一阶求解器更快，二阶求解器更准确，但是速度要慢两倍，因为需要过两遍去噪 UNet 模型。
Quality
当然，如果生成图片的质量看起来很矬，收敛性和速度都没有意义。以下是不同采样器结果的对比：
| 采样器 | 采样结果 |
|---|---|
| Euler、Heun、DDIM | |
| PLMS、LMS Karras、Euler a | |
| DPM2、DPM2 a、DPM2 a Karras | |
| DPM2 Karras、DPM++ 2M Karras、DPM++ 2S a Karras | |
| DPM++ 2S a、DPM++ adaptive、DPM++ fast | |
| DPM++ SDE、Karras、DPM++ SDE、UniPC |
从结果来看，DPM++ fast 是明显质量稍差的。另外，各个祖先采样器没有收敛到其他采样器收敛的结果。祖先采样器收到一致 kitten，而其他采样器收敛到一只 cat。
生成结果的主观感知这里没有明显的哪个比哪个好，自己看着好就行。
Perceptual Quality
即使没有收敛，生成图像的质量也可能已经不错了。这节我们看一下各个采样器需要多少步能够得到高质量的生成结果。
这里我们采用的指标是 BRISQUE (Blind/Referenceless Image Spatial Quality Evaluator)，它反映了自然图像的质量，数值越低，图像质量越高。
在第一组中，DDIM 这里表现得出乎意料的好，只需要 8 步，就生成了质量最高的图像。
第二组对比的是祖先采样器的结果，除了一两个例外之外，大多数祖先采样器的质量与 Euler类似。
DPM2 采样器系列比 Euler 稍好。
在本节的生成质量对比中，DPM++ SDE and DPM++ SDE Karras 的表现最好。
UniPC 在小步数时比 Euler 稍差，在大步数时差不多。
So … which one is the best
在对比了各个采样器在多个维度的表现之后，推荐如下：
- 如果想要速度快、收敛性好、质量也不错，且想试试新东西的话，最好选择：
- DPM++ 2M Karras、20-30 步
- UniPC、20-30 步
- 如果想要比较好的质量，同时不在意是否收敛的话，可以选择：
- DPM++ SDE Karras、10-15 步 （注意该采样器比较慢）
- DDIM、10-15 步
- 如果想要稳定、可复现的结果，不要用任何带有随机性的采样器，比如祖先采样器
- 如果想生成一些简单的结果，可以用 Euler 或 Heun。在使用 Heun 时，可以调低一些步数来节省时间。
采样器简介
SD webui 中有各种采样器的相关信息。这些采样器的内部工作原理需要大量数学知识来理解。这里将详细解释一下最简单的 Euler，简略介绍其他采样器，它们也与 Euler 有许多共通点、
Euler
Euler 可能是最直接的采样器，其数学本质就是用于解决常微分方程的欧拉方法。Euler 采样器是完全确定的，也就是说，在采样过程中不会引入任何的随机噪声。
以下是逐步拆解采样过程：
- 第一步：在隐层空间中，噪声预测器估计出图像中的噪声
- 第二步：根据 noise schedule，计算出需要被减掉的噪声系数，这在每一步是不同的
- 第三步：将第一步的噪声与第二步的系数乘起来，从隐层图片中减掉的该噪声量
重复上述步骤，直到 noise schedule 结束。
但是我们怎么知道每一步的噪声系数应该是多少呢？实际上，这就是我们需要告诉采样器的 noise schedule。
noise schedule 告诉采样器每一步的噪声应该是多少。噪声预测器根据应该存在的噪声总量来估计隐层图像中的噪声。
在第一步的噪声量是最高的，然后噪声会随着步数的增加不断降低，直到在最后一步降至 0。改变采样步数，就会对应的改变 noise schedule。比如我们增大采样步数，那么每一步噪声下降的会更少，这有助于减少采样过程中的截断误差。
为什么确定性的 ODE 求解器能够求解随机采样问题呢？这称为概率流（probability flow），我们不是解决样本如何演化（evolve），而是解决其概率分布的演化。也就是说，求解随机过程中的概率分布而不是样本轨迹。
与漂移过程（drift process）对照，ODE 求解器的对应关系如下：
- Time → noise
- Time quantization → noise schedule
- Position → latent image
- Velocity → Predicted noise
- Initial position → Initial random latent image
- Final position → Final clear latent image
采样示例
下面是使用 Euler 采样进行文生图的一个示例。noise schedule 指示了每一步中的噪声强度。采样器的工作就是在每一步中，根据 noise schedule 的设定，和 UNet 噪声预测网络的输出，从噪声图中减掉适量的噪声，直到最终噪声为 0。
Euler a
Euler ancestral (Euler a) 采样器与 Euler 采样器类似。区别在于，Euler a 会在每一步减掉更多的噪声，然后它会在采样一些随机噪声加回到噪声图中，这样与 noise schedule 中设定的噪声强度匹配。Euler a 中的去噪图与之前的步数中加入了什么样的噪声有关，因此它被称为祖先采样器（ancestral sampler ）。由于在过程中加入了额外的噪声，所以祖先采样器两次的采样结果会是不同的。
DDIM
Denoising Diffusion Implicit Models (DDIM) 是最先被提出的扩散模型采样器之一。它的核心想法是每一步的图片可以通过添加以下三个东西来近似：
- 最终的图片
- 图像方向指向当前步骤的图像
- 随机噪声
可是在抵达最后一步之前，我们怎么知道最终的图片呢？DDIM 采样器是使用去噪图片来对最终图片进行估计。类似的，图片的方向也是通过噪声预测器预测出的噪声来近似。
LMS and LMS Karras
与 Euler 方法类似，linear multistep method (LMS) 方法也是用于解决 ODE 的一种标准方法。他通过巧妙利用之前时间步的值来提升准确度。SD webui 默认使用至多前 4 步的值。
LMS Karras 使用了 Karras 的 noise schedule。
Heun
Heun’s method 比 Euler 方法更准确，但是它在每步需要预测两次噪声，所以它比 Euler 慢两倍。
DPM Solvers
Diffusion Probabilistic Model Solvers (DPM-Solvers) 是一系列新提出的扩散模型求解器。在 SD webui 中，包含以下几种：DPM2，DPM2 Karras，DPM2 a，DPM2 a Karras，DPM Fast，DPM adaptive，DPM Karras。
DPM2 就是 DPM-Solver 论文中的 DPM-Solver-2 (Algorithm 1)，是一种精确到二阶求解器。
DPM2 Karras 和 DPM2 基本相同，但是使用了 Karras 的 noise schedule。
DPM2 a 也与 DPM2 基本相同，但是作为一种祖先采样器，它在每一步添加了额外的噪声。
DPM2 a Karras 是在 DPM2 a 的基础上再使用了 Karras 的 noise schedule。
DPM Fast 的 noise schedule 是均匀的。它精确到一阶，比 DPM2 系列快两倍。
DPM adaptive 也是一阶的 DPM Solver，其 noise schedule 是自适应的，它会无视我们设置的去噪步数，并自适应地自行决定步数。
DPM++ 采样器是 DPM 的优化版本。
UniPC
UniPC (Unified Predictor Corrector method) 是 2023 年新提出的一种采样器。它包含两部分：
- Unified predictor (UniP)
- Unified corrector (UniC)
它支持任何求解器，任何噪声预测器。
延伸阅读
- k-diffusion GitHub page – Katherine Crowson 的 diffusion 库. 许多 SD webui 中的采样器就是使用的这个库中的实现
- Elucidating the Design Space of Diffusion-Based Generative Models (Karras 2022) – k-diffusion 中实现的采样器就是根据该论文的描述
- Progressive Distillation for Fast Sampling of Diffusion Models – Fast sampling progressive distillation can generate images in as few as 4 steps. It needs model-level training.
- Pseudo Numerical Methods for Diffusion Models on Manifolds (Liu 2022) – PLMS 论文.
- DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps (Lu 2022) – DPM 和 DPM2 求解器论文.
- DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models (Lu 2022) – DPM++ 求解器论文.
- Denoising Diffusion Implicit Models (Song 2020) – DDIM 论文.
- Score-based generative modeling through stochastic differential equations (Song 2020) – 提出 reverse diffusion. 我们现在能使用 ODE 求解器就是由于作者在该论文中提出的替代概率流公式。
- Pseudo Numerical Methods for Diffusion Models on Manifolds (Liu 2022) – PLMS 采样器论文.
- 这个 Reddit 评论 对采样器进行了很好的总结