[Python] Diffusion Model 扩散模型

1. 相关论文

   1. Deep Unsupervised Learning using Nonequilibrium Thermodynamicshttps://arxiv.org/abs/1503.03585

   2. Denoising Diffusion Probabilistic Modelshttps://arxiv.org/abs/2006.11239

   3. High-Resolution Image Synthesis with Latent Diffusion Modelshttps://arxiv.org/abs/2112.10752

2. 数学知识复习

   1. 代数变形

   2. 概率统计如下图，贝叶斯公式中，p(y)为prior，p(x|y)为likelihood，p(x)为evidence，p(y|x)为posterior

      

      

   3. 概率图模型

   4. 变分推断

      

   5. 重参数化

      

3. 生成模型概述

   1. 扩散模型是一种潜在变量模型，其中x1，...，xT是与x0具有相同维度的潜在变量
   2. 联合分布p_θ(x0:T)被称为逆过程，它是个马尔可夫链，转移分布是高斯形式，表示成公式就是Figure 2
   3. 在给定参数均值μθ(xt, t)的条件下，随机变量xt-1的取值服从正态分布
   4. 训练过程是通过最小化常规变分界限（variational bound）的负对数似然来完成的

4. 正向扩散过程

   

5. 逆向去噪过程

   

6. 扩散过程后验分布

   

   

   

         

   

7. 损失函数变分推导

   

   

    

   

   

8. 损失函数的参数化

   

   

   

   

9. 训练和采样算法