【技术解析笔记】DDPM解析

本文为youtube上一个ddpm解析视频的摘录笔记

youtube原视频链接：https://www.youtube.com/watch?v=W-O7AZNzbzQ

---

基本介绍

DDPM指的是Denoising diffusion probalistic models，一种生成式模型，提出的时候特别强调了可以超过GAN。

DDPM的想法来源于这样一个过程：对一个图像反复添加某分布的噪音，那么该图像最终就是一个随机噪音图。那么能否自动学习一个倒置过程呢？  

---

训练过程 

        如果正向制造噪音的过程不依赖于任何东西，那么反向推断的过程实际依赖于数据的整体分布情况。例如，给定一个加了无数噪音的图片，你通过图片上依稀能辨认的兔耳朵和白色认出了这个图原本是个兔子，实际上你推断的过程是包含了你对世界知识的理解的，既只有兔子的耳朵是又白又长的（假如这个世界确实只有兔子耳朵又白又长）。

        因此，我们在利用神经网络进行反向推断的时候可以干两件事情，一是对数据的整体分布进行建模，二是对添加的噪音分布进行建模，任意一种建模方式都可以帮助模型将带噪音的输入反向推断到不带噪音的源输入上。