Diffusion Model 扩散模型 / 一知半解版

Diffusion Model 扩散模型 / 一知半解版

网上很多扩散模型的理论说明了，涉及到了推倒过程和原理知识，等等。我看了一些，不论如何，我就是感觉生涩难懂，难达精髓。特此写一个一知半解版，也即一个shortcut概要，有俩点希望：

1. 若之前读过其他DDPM的介绍文章又不理解的人们，再读此篇能豁然开朗
2. 若还未读其他DDPM介绍文章的，先读此篇，以便再读其他系统文章时不迷失于公式之中。

概要

这个章节主要介绍DDPM是个啥。

DDPM是Diffusion模型的一种，意图为给定一个数据集，模型在学习该数据集后，能通过一个噪声的图片还原出符合原始数据集分布的图片。

如上图片即是从噪声$x_T$还原出原始图像$x_0$的过程。

两个公式

理解DDPM的关键我认为在于俩个核心公式，这章点明这俩个公式，阐述其意义，不做推导，（推导过程对初步的模型理解没有意义，反而让新手lost在数学之中）

为了让模型学习到一步步的还原过程，我们得先从数据集中抽出一个$x_0$，一步步给其添加噪声，使其成为完全的高斯噪声$x_T$。数学上这个过程描述为。
$$x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}ϵ$$
注意上面这个描述的是t-1到t的过程 ，其中$ϵ$是一个采样于标准搞死分布的噪声，${\beta }_t$是一个参数，很明显其控制的是，$x_t$中有多少来自于噪声，有多少来自于$x_{t-1}$。随着t越来越大，即$x_t$接近于完全噪声$x_T$，${\beta }_t$也会线性的增大。为什么如何设计？ 因为考虑从$x_T$还原到$x_0$的过程，我们总是希望，刚开始还原的时候，快点还原出原始图像的大概模样，然后后面慢慢调整细节。

接下来是第一个最重要的公式，由于$x_t=\sqrt{1-{\beta }_t}{x}_{t-1}+\sqrt{{\beta }_t}ϵ$，所以我们可以反复迭代，用$x_0$表示$x_t$，最后的表示结果是
$$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_t$$
其中${\overline{\alpha }}_t=(1-{\beta }_t)(1-{\beta }_{t-1})\cdots (1-{\beta }_0)，{\overline{ϵ}}_t$是一个采样于正太高斯分布的噪声。

这是第一个重要公式，推导过程我不提，但其意义在于，既然$x_t$到$x_{t+1}$每一步都是缩小点原始图像的内容，再添加一点噪声，那么从$x_0$到$x_t$添加t步噪声，可以等价的看作是只添加一次噪声。

考虑逆向过程，由$x_t$还原出$x_{t-1}$，首先我们可以经过一大堆我不关心的推导得到一个公式
$$q(x_{t-1}|x_t,x_0)=\mathcal{N}(\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{x}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}{\beta }_t}{1-{\overline{\alpha }}_t}{x}_0,\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t)$$
这个公式描述了在知道$x_0，x_t$的条件下，$x_{t-1}$是一个均值和$x_t，x_0$都有关的正太分布。这个地方其实是用$q(x_{t-1}|x_t，x_0)$替代$q(x_{t-1}|x_t)$因为后者没办法直接表达
接下来是第二个重要公式，我们把$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_t$代入到$q(x_{t-1}|x_t,x_0)$的表达中得到第二个公式
$$q(x_{t-1}|x_t,x_0)=\mathcal{N}(\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}{\overline{ϵ}}_t),\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t)$$
第二个公式中的条件描述了我们是知道$x_t$和$x_0$的，因此这里的${\overline{ϵ}}_t$是一个确定的值，虽然其来自于$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_t$（在前向中${\overline{ϵ}}_t$是标准正态的一个采样值）

模型要做什么？

我们要应用深度模型，从$x_t$中还原出$x_{t-1}$，最后还原出$x_0$。
而从第二个公式我们看到我们可以从一个以$\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}{\overline{ϵ}}_t)$为均值的高斯分布中采样得到$x_{t-1}$。看似很美好，但有个大问题，我们不知道${\overline{ϵ}}_t$是多少，公式2的前提条件是$x_t$和$x_0$都是已知的，因此${\overline{ϵ}}_t$也是已知的。而对于模型来说，我们已知的只有$x_t$，未知${\overline{ϵ}}_t$以及$x_0$。

因此我们利用深度模型预测${\overline{ϵ}}_t$，$\mathcal{F}(x_t,t)$。

模型的训练

模型的损失函数原本是用最大似然度推导的，然而这里直接跳结论。使用MSE充当损失函数。
具体来说，抽取一个样本$x_0$，随便选择一个步数t，从标准正太分布中随机采样一个${\overline{ϵ}}_t$，那么$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}{\overline{ϵ}}_t$。

然后我们利用深度模型$\mathcal{F}$，传入$x_t$和$t$，得到一个噪声的预测$z$，最小化$\Vert {\overline{ϵ}}_t-\mathcal{F}(x_t,t){\Vert }^2$

模型应用

每个步骤对$x_t$和t生成一个z，用z替代$$\mathcal{N}(\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\overline{\alpha }}_t}}{\overline{ϵ}}_t),\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}{\beta }_t)$$中的${\overline{ϵ}}_t$，采样得到$x_{t-1}$