扩散原理详解与实战

学习一下扩散模型的数学原理。

前向扩散

$$q\left({\mathbf{x}}_t\mid {\mathbf{x}}_0\right)=\mathcal{N}\left({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,\left(1-{\bar{\alpha }}_t\right)\mathbf{I}\right)$$

其中，${\alpha }_t=1-{\beta }_t$

• 前向扩散过程没有可训练参数，${\beta }_t$ 是人工设置的超参
• $x_0$ 可以直接推导得到 $x_T$，而无须一步步迭代

逆向扩散

• 逆向扩散过程一步步去噪，需要训练参数
• $x_T$ 不能一步推导到 $x_0$，需要一步步迭代

损失函数

$$\begin{array}{rl}& -\log p_{\theta }\left({\mathbf{x}}_0\right)\le -\log p_{\theta }\left({\mathbf{x}}_0\right)+D_{\mathrm{KL}}\left(q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)\Vert p_{\theta }\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)\right)\\ & =-\log p_{\theta }\left({\mathbf{x}}_0\right)+{\mathbb{E}}_{{\mathbf{x}}_{1:T\sim }q({\mathbf{x}}_{1:T\mid {\mathbf{x}}_0)}}\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0,T}\right)/p_{\theta }\left({\mathbf{x}}_0\right)}\right]\\ & =-\log p_{\theta }\left({\mathbf{x}}_0\right)+{\mathbb{E}}_q\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}+\log p_{\theta }\left({\mathbf{x}}_0\right)\right]\\ & ={\mathbb{E}}_q\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}\right]\\ & \text{ Let }{L}_{\mathrm{VLB}}={\mathbb{E}}_{q({\mathbf{x}}_{0:T)}}\left[\log \frac{q\left({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0\right)}{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}\right]\ge -{\mathbb{E}}_{q\left({\mathbf{x}}_0\right)}\log p_{\theta }\left({\mathbf{x}}_0\right)\\ & \end{array}$$

最终化简得到的损失函数为：
L simple  ( θ ) : = E t , x 0 , ϵ [ ∥ ϵ − ϵ θ ( α ˉ t x 0 + 1 − α ˉ t ϵ , t ) ∥ 2 ] L_{\text {simple }}(\theta):=\mathbb{E}_{t, \mathbf{x}_0, \epsilon}\left[\left\|\boldsymbol{\epsilon}-\boldsymbol{\epsilon}_\theta\left(\sqrt{\bar{\alpha}_t} \mathbf{x}_0+\sqrt{1-\bar{\alpha}_t} \boldsymbol{\epsilon}, t\right)\right\|^2\right] Lsimple ​(θ):=Et,x0​,ϵ​[ ​ϵ−ϵθ​(αˉt​ ​x0​+1−αˉt​ ​ϵ,t) ​2]
确实非常简洁。。。

• 具体的推导可见：对数似然下界推导

模型训练与推理

FAQ

1. 为什么建模目标不是直接预测原始输入 $x_0$ ？

这个得看看原论文了。其实逆向扩散过程中模型预测的是噪音残差，跟ResNet思想一致。

2. 前向可以 $x_0$ 可以直接推导得到 $x_T$，为什么后向不能$x_T$ 可以直接推导得到 $x_0$？

其实是可以的，但一步到位直接预测 $x_0$，但生成的图片效果较差。还是需要马尔科夫过程一步步生成高质量的图片。

---

参考

• The Illustrated Stable Diffusion
• 54、Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读
  • 上述视频的置顶评论，是up主有关视频疑问的详细讲解
  • 上述up主的代码实现