扩散模型

常见的生成模型（Generative Models）如 GAN、VAE 和基于流( Flow-based )的模型。他们在生成高质量样本方面取得了巨大成功，但每个都有其自身的局限性。 GAN 因其对抗性训练性质，其训练过程难以收敛以及生成多样性欠佳。 VAE 依赖于替代损失（surrogate loss）。流模型必须使用专门的架构来构建可逆变换。

扩散模型( Diffusion Models )的灵感来自非平衡热力学。定义了扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。与 VAE 或流模型不同，扩散模型是通过固定过程学习的，并且潜在变量具有高维度（与原始数据相同）

几种基于扩散的生成模型

扩散概率模型（diffusion probabilistic models）：https://arxiv.org/abs/1503.03585

噪声条件评分网络（noise-conditioned score network）： https://arxiv.org/abs/1907.05600

去噪扩散概率模型（denoising diffusion probabilistic models）： https://arxiv.org/abs/2006.1123

https://zhuanlan.zhihu.com/p/558462214

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/