概率扩散模型 Probabilistic Diffusion Model

主要参考文献：

[1] Denoising Diffusion Probabilistic Models

[2] Deep Unsupervised Learning using Nonequilibrium Thermodynamics

一、扩散模型

首先确定的是扩散模型是一个生成模型，过程简单来说就是去拟合目标数据的分布，之后根据这个拟合后的分布去生成数据。扩散模型的工作原理是学习由于噪声引起的信息衰减，然后使用学习到的模式来生成图像。 该概念也适用于潜在变量，因为它试图学习噪声分布而不是数据分布。

训练模型的过程：假设我们有N张训练集图片，第一个过程就是将这N张真实图片扩散(diffusion)成N张噪声图，之后可以根据这N张训练整个重建(reverse)的过程。

推理模型的过程：有了已经训练好的reverse过程，我们只需要在高斯分布上进行采样获得高斯噪声，在这个采样获得的噪声上进行翻转，最终可以得到生成的结果。

基础公式

贝叶斯公式：

满足A->B->C的马尔可夫链概率：

参数重整化：希望从中采样，若这个参数是从神经网络中预测出来的，在反向传播的过程中可能存在梯度消失的问题，主要是因为采样的过程是不可导的。为了解决这个问题，我们可以直接从中采样出z，进而得到，这个过程相当于作了一次仿射变换，进而将随机性转移到常量z上。

二、扩散过程

 整个扩散过程是在真实图像上不断加入高斯噪声，最终得到目标噪声图。在第t个加噪的过程给定一个常数，我们会得到：

设真实图像 服从一个分布，在向前传导的过程中我们不断将一个小的高斯噪声加入到前一张噪声图中，我们会得到某一阶段的分布：

这个分布属于高斯分布，真实图像随着t的增大逐渐失去可辨别性，当时，最终图像会成为一个各向独立的高斯噪声图。

我们已经得到了一个从t-1到t过程的扩散公式，进而我们可以以这个公式作为基础进行推广，推广到从0到T过程的扩散公式：

 三、重建过程

由扩散过程我们可知，从真实图像我们是通过T次加噪的过程获得最终的噪声图，在反向重构图像的过程往往也要求通过T个过程一步一步构建图像。如下图所示，我们将每一阶段得到的噪声图通过UNet得到一个参数重整化后的随机正态分布变量，之后再通过重建t-1时刻的噪声图，不断重复这个过程得到原始图像。

那么如何用已知的 重构出是整个重构过程的关键。首先重构过程仍然是一个马尔科夫链过程，后验扩散条件概率是可计算的：

由高斯分布概率密度函数正比于。

 最终我们得到其后验条件分布概率的方差是一个参数已知的数，而均值是与和有关的数值。由扩散过程我们已知，回代到计算均值的公式中我们可以最终得到：

由此，我们获得了最终的后验条件分布概率，以及重构结果：

其中是UNet学习到的分布，的随机采样，添加这样的一个噪声目的的使整个学习过程中增加不确定性，是模拟布朗运动的一个过程。在推理过程中也是同样的一个过程，先通过在高斯分布上采样得到噪声图，再通过学习好的模型，重构出图像。

四、算法分析

 DDPM这篇文章中明确给出了训练和推理的算法。

训练过程中，从目标图像域得到真实图像，之后在1到T之间采样出t表示在t轮的运算过程。为采样出来的目标值，为一个训练的过程，这里表示UNet的训练结果，所计算的Loss含义为UNet在第t个过程中训练得出的与高斯噪声的差值，目的是使UNet尽量去模拟扩散过程中添加的高斯噪声。

推理过程便是在高斯分布中采样出，迭代T轮，逐步计算下一轮的恢复图像，整体和上述重构过程相同。这里需要注意当t=1时无需再加噪声来得到最终清晰图像。