DDPM--Denoising Diffusion Probabilistic Models

1 简介

本文根据2020年《Denoising Diffusion Probabilistic Models》翻译总结的，即DDPM，去噪扩散概率模型。

GAN、autoregressive models、flows、variational autoencoders（VAEs）可以生成惊人的图像。

本文介绍了一种新的模型，Diffusion Probabilistic Model 是一个参数化的马尔科夫链，使用variational 推断进行训练。

算法如下：

2 背景

2.1 ELBO

变分推断KL：

进而，

由于logp(x)相对于q(z)是一个常量，而我们想要最小化KL，而ELBO等于负的KL加上一个常量，所以我们最大化ELBO就等价于最小化KL。

另外，

上面最后一步，是将log期望E变成期望E的log，变成大于等于号的。

2.2 扩散模型损失函数

根据2.1节，我们得到扩散函数的损失函数：

因此，在式5中的所有KL divergence在高斯过程间比较，他们可以不使用Monte Carlo estimates.，而使用Rao-Blackwellized fashion来计算。

3 Diffusion models and denoising autoencoders

3.1 前向过程和L_T

3.2 逆过程和L_(1:T-1)

3.3 reverse process decoder, and L0

3.4简化后的损失函数

4.实验

我们设T=1000.
前向过程的变量线性增加，从

为了表示逆过程，我们采用u-net骨干。
下表在数据CIFAR10.上比较了Inception scores, FID scores, and negative log likelihoods (lossless codelengths) ，我们的模型如FID成绩很好。