【文生图系列】Denoising Diffusion Probabilistic Models论文解读

此篇论文是DDPM的奠基之作，后续扩散模型相关论文都基本继承了前向加噪-反向降噪-训练这样的框架。论文全是公式，理解起来好难好难。

【文生图系列】基础篇-马尔可夫链
【文生图系列】基础篇-变分推理（数学推导）

扩散模型

扩散模型是扩散概率模型（diffusion probabilistic model）的简称，它是一个参数化的马尔科夫链，使用变分推理进行训练，以在有限的时间后生出与数据匹配的样本。扩散模型包括前向过程(forward process)和反向过程(reverse process)，其中前向过程也被成为扩散过程(diffusion process)，它逐渐地从方差表(variance schedule)${\beta }_1,\cdots ,{\beta }_T$中向数据中添加高斯噪声。反向过程则相反，不断去除噪声，用于生成图片。

如上图所示，前向扩散过程是从$x_0\to x_T$，每一步的条件概率分布定义为$q\left(x_t|x_{t-1}\right)$，逐步地向人脸图像中添加噪声，直至第$T$步时，人脸图像彻底为一张噪声图片。反向过程是从$x_T\to x_0$，每一步的条件概率分布定义为$q\left(x_{t-1}|x_t\right)$，逐步地去除噪声图片中的噪声，以生成人脸图像。但是$q\left(x_{t-1}|x_t\right)$却是难以计算的，因此需要学习一个模型$p_{\theta }$近似条件概率。

扩散过程

从一个真实数据分布中选择一个样本点$x_0\sim q\left(x\right)$，每一次向样本中添加少量高斯噪声，执行T次，得到噪音样本序列$x_1,\cdots ,x_T$。前向过程用公式定义如下：

执行步数由方差表$\{{\beta }_t\in \left(0,1\right){\}}_{t=1}^T$控制，${\beta }_t$为第$t$步所采用的方差，它介于$\left(0,1\right)$之间。通常情况下，方差的取值会随着$T$的增大而越来越大${\beta }_1<{\beta }_2<\cdots <{\beta }_T$。而且随着$T$的增大，样本数据$x_0$会逐渐失去它的分布特征，当$T$趋于无穷时，$x_T$则等价于一个各向同性高斯分布(isotropic Gaussian distribution)。

已知，扩散过程是一个马尔可夫链，每一步都会生成带噪音的数据$x_t$。扩散过程的一个重要特性就是可以基于原始样本数据$x_0$使用重参数技巧(reparameterization trick)采样任意$t$步的生成数据$x_t$,$q\left(x_t|x_0\right)=N\left(x_t,\sqrt{{\bar{\alpha }}_t}{x}_0,\left(1-{\bar{\alpha }}_t\right)I\right)$。

设${\alpha }_t=1-{\beta }_t,{\bar{\alpha }}_t={\prod }_{s=1}^t={\alpha }_s$，$q\left(x_t|x_0\right)$的推理过程如下所示：

反向过程

反向过程是前向过程的反向，从一个高斯噪声输入$x_T\sim N\left(0,1\right)$中创建真实案例的过程，如果${\beta }_t$足够小，那么$q\left(x_{t-1}|x_t\right)$也符合高斯分布。但是，需要全部的数据计算$q\left(x_{t-1}|x_t\right)$，这是一件很困难的事情，因此，为了能够运行反向扩撒模型，需要学习一个模型$p_{\theta }$近似估计条件概率。

假设$x_1,\cdots ,x_T$为与数据$x_0\sim q\left(x_0\right)$有相同维度的隐藏变量，扩散模型就是一个隐藏变量模型，用公式表示为$p_{\theta }\left(x_0\right):=\int p_{\theta }\left(x_{0:T}\right)d{x}_{1:T}$。反向过程则可被定义成这样的一个马尔可夫链，初始状态转移为$p\left(x_T\right)=N\left(x_T,0,I\right)$。

$p_{\theta }\left(x_{t-1}|x_t\right)$为参数化的高斯分布，均值和方差分别是训练的网络${\mu }_{\theta }\left(x_t,t\right)$和${\sum }_{\theta }\left(x_t,t\right)$。最终的生成模型就是由这些均值和方差网络组成。

虽然条件分布$q\left(x_{t-1}|x_t\right)$是不可直接处理的，但是加上条件$x_0$的后验分布$q\left(x_{t-1}|x_t,x_0\right)$却是可处理的。

推理过程如下图所示。第一步的$C\left(c_t,c_0\right)$与$x_{t-1}$无关，可以省略。后验分布$q\left(x_{t-1}|x_t,x_0\right)$的方差是一个定量，均值是一个依赖$x_t$的函数。

设${\sigma }_t^2=\widetilde{{\beta }_t}=\frac{1-{\bar{\alpha }}_{t-1}}{1-\overline{{\alpha }_t}}{\beta }_t$，其中${\beta }_t=1-{\alpha }_t$，那么从分布$p_{\theta }\left(x_{t-1}|x_t\right)$中采样$x_{t-1}$，计算公式为$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_t\right)+{\sigma }_{t}z$，其中$z$服从正态分布$z\sim N\left(0,I\right)$。采样整体过程伪代码见下图Algorithm 2。

优化目标

如果将扩散模型中间产生的变量看作隐变量的话，那么扩散模型其实就是包含$T$个隐变量的隐变量模型，与VAE相似，不同的是扩散模型的隐变量与原始数据同纬度。那么就可以基于变分推断得到ELBO作为最大优化目标。

推导过程如下图所示，最后的优化目标共包含$T+1$项。

1. $L_T$计算的是噪音分布和先验分布的KL散度，先验$p\left(x_T\right)$服从正太分布，扩散过程最后得到的随机噪音$q\left(x_T|x_0\right)$也近似正太分布，所以它们两之间的KL散度近似为0。

2. 假设图像数据为的整数，线性缩放到，这样能够保证神经网络反向过程从标准正太分布先验开始，在一致缩放的输入上进行操作。为了能够获得离散对数似然，反向过程中的最后一项设置为一个独立的离散解码器，该解码器源自于高斯分布$N\left(x_0,{\mu }_{\theta }\left(x_1,1\right),{\sigma }_1^{2}I\right)$。

3. $L_t$为前向过程和反向过程的KL散度。依据KL散度的定义和上述前向和反向过程的公式定义，对 $L_t$进行参数化。

训练扩散模型时，发现忽略权重项，一个简化版的 $L_t$会让模型性能更好。简化版的$L_t$如下所示。这就是上述Algorithm 1 训练伪代码第5行公式的由来。

训练过程

训练部署设置为$T=1000$，前向过程中方差从${\beta }_1=10^{-4}$线性增长到${\beta }_T=0.02$。

神经网络backbone是一个U-Net网络。U-Net属于编码-解码架构，编码器分成不同的stages，每个stage都包含下采样模块降低特征的空间大小；解码器将编码器压缩的特征上采样恢复。

参考

1. Denoising Diffusion Probabilistic Models
2. hojonathanho/diffusion
3. What are Diffusion Models
4. 扩散模型之DDPM
5. 十分钟读懂Diffusion：图解Diffusion扩散模型
6. Denoising Diffusion-based Generative Modeling: Foundations and Applications