Diffusion Model合集 part3

而我们可以有多种建模目标：
$$L_{t-1}={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}||\stackrel{\sim }{{\mu }_t}({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mu }_{\theta }({\mathbf{x}}_t,t)|{|}^2\right]+C$$
【1】直观的做法是让 $D_{\theta }$ 网络的输出等于前向过程中的后验分布均值 $\stackrel{\sim }{{\mu }_t}(x_t,x_0)$，这种建模方法俗称预测后验分布的期望值；

【2】根据$\stackrel{\sim }{{\mu }_t}(x_t,x_0)$的表达式，它里面的$x_0$对于$D_{\theta }$网络是未知的，因此第二种做法是让$D_{\theta }$网络的输出等于$x_0$，这种做法即直接预测原始数据。
有人问：既然可以通过$D_{\theta }$网络直接预测$x_0$了，那是不是采样过程就直接计算$D_{\theta }(x_T,T)$的输出即可认为是生成了样本了呢？
答案是：直接一步到位，质量会比较差，还是需要通过马尔科夫高斯条件迭代而获得最终高质量的生成样本；
$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_t}{x}_0$$

• $x_t,t\to {\mu }_{\theta }$中得到$x_0$
• 将上面得到的$x_0$，和已知的$x_t$输入到$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)$中，则前向过程中的后验分布均值$\stackrel{\sim }{{\mu }_{\mathrm{t}}}$就知道了
• 所以就可以根据对应的$q(x_{t-1}|x_t,x_0\sim N(\stackrel{\sim }{{\mu }_{\mathrm{t}}},\stackrel{\sim }{{\beta }_{\mathrm{t}}}\mathrm{I})$高斯分布重采样，得到$x_{t-1}$，即$t-1$时刻的样本；同理，迭代最后生成$x_0$

【3】当我们把$\stackrel{\sim }{\mu }(x_t,x_0)$中的$x_0$用$x_t$去表示的时候，$\stackrel{\sim }{\mu }(x_t,x_0)$就变成了如下只包含$x_t$和随机变量$ϵ$的式子，记为$\stackrel{\sim }{\mu }(x_t,ϵ)$。其中$x_t$对于D网络是已知的，而$ϵ$是未知的，因此这个时候，我们可以选择建模目标是让$D_{\theta }$网络的输出等于$ϵ$了（得到$ϵ$后,再带入$\stackrel{\sim }{\mu }(x_t,ϵ)$，就可以用重采样技巧推出$x_{t-1}$,$\cdots$不断迭代$\cdots$就可以求出$x_0$），这种建模方法俗称随机变量(噪音)法。

总结：上面【1】【2】【3】殊途同归，都是为了预测$q(x_{t-1}|x_t,x_0)$的均值$\stackrel{\sim }{\mu }$

L t − 1 − C = E x 0 , ϵ [ 1 2 σ t 2 ∥ μ ∼ t ( x t ( x 0 , ϵ ) , 1 α ˉ t ( x t ( x 0 , ϵ ) − 1 − α ˉ t . ϵ ) ) − μ θ ( x t ( x 0 , ϵ ) , t ) ∥ 2 ] = E x 0 , ϵ [ 1 2 σ t 2 ∥ 1 α t ( x t ( x 0 , ϵ ) − β t 1 − α ˉ t . ϵ ) ⏟ μ ∼ t − μ θ ( x t ( x 0 , ϵ ) , t ) ⏟ μ θ ∥ 2 ] ⑥ \begin{aligned} L_{t-1}- C&=\mathbb{E}_{\mathbf{x}_{0},\epsilon}\left[\frac{1}{2\sigma_{t}^{2}}\Vert\overset{\sim}{\mu}_{t}\left(\mathbf{x}_{t}(\mathbf{x}_{0},\epsilon),\frac{1}{\sqrt{\bar\alpha_{t}}}(\mathbf{x}_{t}(\mathbf{x}_{0},\epsilon)-\sqrt{1-\bar\alpha_{t}}.\epsilon)\right)-\mu_{\theta}(\mathbf{x}_{t}(\mathbf{x}_{0},\epsilon),t) \Vert^{2}\right]\\ \\ &=\mathbb{E}_{\mathbf{x}_{0},\epsilon}\left[\frac{1}{2\sigma_{t}^{2}}\Vert\underbrace{\frac{1}{\sqrt{\alpha_{t}}}\left(\mathbf{x}_{t}(\mathbf{x}_{0},\epsilon)-\frac{\beta_{t}}{\sqrt{1-\bar\alpha_{t}}}.\epsilon\right)}_{\overset{\sim}{\mu}_{t}}-\underbrace{\mu_{\theta}(\mathbf{x}_{t}(\mathbf{x}_{0},\epsilon),t)}_{\mu_{\theta}} \Vert^{2}\right]\quad\quad\quad⑥\\ \end{aligned} Lt−1​−C​=Ex0​,ϵ​[2σt2​1​∥μ∼​t​(xt​(x0​,ϵ),αˉt​ ​1​(xt​(x0​,ϵ)−1−αˉt​ ​.ϵ))−μθ​(xt​(x0​,ϵ),t)∥2]=Ex0​,ϵ​ ​2σt2​1​∥μ∼​t​ αt​ ​1​(xt​(x0​,ϵ)−1−αˉt​ ​βt​​.ϵ)​​−μθ​ μθ​(xt​(x0​,ϵ),t)​​∥2 ​⑥​

在DDPM论文中，作者选择了方案【3】，即让$D_{\theta }$网络的输出等于$ϵ$, 预测噪音法。于是，新的逆向条件分布的均值可以表示成（下式中的${ϵ}_{\theta }$相当于我们定义的广义的$D_{\theta }$网络的具体目标形式）：
$${\mu }_{\theta }({\mathbf{x}}_t,t)=\stackrel{\sim }{{\mu }_t}\left({\mathbf{x}}_t,\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}.{ϵ}_{\theta }({\mathbf{x}}_t))\right)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.{ϵ}_{\theta }({\mathbf{x}}_t,t)\right)⑦$$

在DDPM论文中预测的就是$ϵ$, 所以就是让上式⑥中的 ${\stackrel{\sim }{\mu }}_t$ 尽可能地接近于 ${\mu }_{\theta }$ ,所以才有了上式⑦

又因为在前面我们已知：
$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_t}{x}_0$$
$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$，我们可以知道：$x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}{z}_t)$
所以：$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)\to \stackrel{\sim }{{\mu }_t}\left({\mathbf{x}}_t,\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}.{ϵ}_{\theta }({\mathbf{x}}_t))\right)$$
说明：$z_t$就是噪声，即下面的${ϵ}_{\theta }({\mathbf{x}}_t)$,至于为什么写成${ϵ}_{\theta }({\mathbf{x}}_t)$,而不是$ϵ$？
因为这里我们定义${ϵ}_{\theta }({\mathbf{x}}_t)$是一个函数近似，可以根据输入${\mathbf{x}}_t$来预测出$ϵ$
因为${\mathbf{x}}_t$不含参数，所以它可以看作常量，我们就把参数转移到随机量$ϵ$中

• ${\mathbf{x}}_t({\mathbf{x}}_0,ϵ)$就说明了${\mathbf{x}}_t$和$ϵ$是有一定关系的，现在我们把${\mathbf{x}}_t$看作常量，那就可以求出来$ϵ$了，所以我们就定义了一个函数${ϵ}_{\theta }({\mathbf{x}}_t)$,可以根据输入${\mathbf{x}}_t$来预测出$ϵ$

前面说到逆扩散过程中有$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\Sigma }_{\theta }({\mathbf{x}}_t,t))$,实际上在论文中作者设置${\Sigma }_{\theta }({\mathbf{x}}_t,t)={\sigma }_t\mathbf{I}$,所以有：$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\sigma }_t\mathbf{I})$，利用参数重整化（$\mathbf{z}\sim N(0,I)$），得到：${\mathbf{x}}_{t-1}={\sigma }_t.\mathbf{z}+{\mu }_{\theta }$, 带入式子⑦即得：
$${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.{ϵ}_{\theta }({\mathbf{x}}_t,t))+{\sigma }_t.\mathbf{z}$$

于是$L_{t-1}$可以化简成如下表达式：
E x 0 , ϵ [ β t 2 2 σ t 2 α t ( 1 − α ˉ t ) ∥ ϵ − ϵ θ ( α ˉ t x 0 + 1 − α ˉ t ϵ , t ) ∥ 2 ] \mathbb{E}_{\mathbf{x}_{0},\epsilon}\left[\frac{\beta_{t}^{2}}{2\sigma_{t}^{2}\alpha_{t}(1-\bar\alpha_{t})}\left\|\epsilon-\epsilon_{\theta}(\sqrt{\bar\alpha_{t}}\mathbf{x}_{0}+\sqrt{1-\bar\alpha_{t}}\epsilon,t)\right\|^{2}\right] Ex0​,ϵ​[2σt2​αt​(1−αˉt​)βt2​​ ​ϵ−ϵθ​(αˉt​ ​x0​+1−αˉt​ ​ϵ,t) ​2]

上式化简的过程中，${\mathbf{x}}_t$和${\mathbf{x}}_t({\mathbf{x}}_0,ϵ)$是一样的，可以互相消掉。

DDPM作者又发现，干脆将系数丢掉，训练更加稳定，质量更好，于是有了下面的$L_{simple}$:
L s i m p l e ( θ ) = E x 0 , ϵ [ ∥ ϵ − ϵ θ ( α ˉ t x 0 + 1 − α ˉ t ϵ , t ) ∥ 2 ] L_{simple}(\theta)=\mathbb{E}_{\mathbf{x}_{0},\epsilon}\left[\left\|\epsilon-\epsilon_{\theta}(\sqrt{\bar\alpha_{t}}\mathbf{x}_{0}+\sqrt{1-\bar\alpha_{t}}\epsilon,t)\right\|^{2}\right] Lsimple​(θ)=Ex0​,ϵ​[ ​ϵ−ϵθ​(αˉt​ ​x0​+1−αˉt​ ​ϵ,t) ​2]

八，Diffusion Probabilistic Model的算法代码

• Training
  $t\in (0,T)$,$T$是可以在前面求出为多少合适的,且 $t$ 是一个embedding
  训练的过程 $\approx$ 优化 $-\log p_{\theta }(x_0)$
• Sampling
  迭代的次数越多，生成的概率分布越准确
  后续的改进：优化迭代次数(减少耗时)