从SDE出发推导DPM-Solver

我们知道，传统的DDPM或SMLD等模型的反向过程需要多次迭代，生成一张图片就需要几千次迭代，速度远比GANs要慢。而拖慢整个模型进度的，正是模型的采样过程，无论是DDPM的祖先采样(Ancestral Sampling)，还是SMLD的退火Langevin采样，每生成一张图片时，都需要1000～2000步的反复迭代。因此，为了加速DDPM，我们需要加速其采样过程。现有的加速采样的方法层出不穷，有依赖学习的，也有不依赖学习的，其中最著名的方法就是DDIM。DDIM原文从“不依赖Markov性”这一特点出发，对采样过程的加速方法进行了介绍。然而，这种介绍方法并不是intuitive的，即我们并不能了解到加速背后的物理学或者数学原理。本文则从最本质、最符合扩散模型物理背景的随机微分方程（SDE）出发，介绍Diffusion Probabilistic Model采样的加速算法，并指出其与DDIM之间的联系。

* 本文为笔者在AI Lab, Research & Development Center, Sony(China)实习期间所写，默认读者已经了解DDPM，DDIM，DPM-Solver等扩散模型领域Milestone式的文章。