机器学习笔记:李宏毅diffusion model

1 概念原理

机器学习笔记:李宏毅diffusion model_第1张图片

  • 首先sample 一个都是噪声的vector
  • 然后经过denoise network 过滤一些杂质
  • 接着继续不断denoise,直到最后出来一张清晰图片

  • 【类似于做雕塑,一开始只是一块石头(噪声很杂的雕塑),慢慢雕刻出想要的花纹】

 机器学习笔记:李宏毅diffusion model_第2张图片

 

  • 同一个denoise network的模型反复使用
  • 但每一个stage输入的图片的状况差异很大
  • ——>完全是同一个模型效果不一定好

  • denoise network还多需要一个输入,野鸡现在denoise的阶段
    • 1表示denoise快结束了的阶段
    • 1000表示刚开始denoise的阶段

2   denoise内部原理

机器学习笔记:李宏毅diffusion model_第3张图片

  •  预测图片里面的噪声长什么样
  • 输入图片减去输出的噪声,得到这一轮去噪后的图片
    • 预测noise的原因:产生图片和产生noise 难度是不一样的

2.1 noise predictor的ground truth

那么如何训练noise predictor,换句话说,怎么找到ground-truth呢

机器学习笔记:李宏毅diffusion model_第4张图片

 机器学习笔记:李宏毅diffusion model_第5张图片

  •  从资料库中拿出图片
  • 再从高斯分布/或者其他分布中产生噪声
  • 将这个噪声加入图片中,就有了带噪声的图片

机器学习笔记:李宏毅diffusion model_第6张图片

 这样就形成了一对一对的 输入和ground-truth ,供noise predictor 训练

3 用文字生成图片

如果我们是提供给diffusion model 文字,让他生成图片

机器学习笔记:李宏毅diffusion model_第7张图片

 整体的框架没有多少变化,就是 denoise model 输入多了一个文字的vector

机器学习笔记:李宏毅diffusion model_第8张图片

 机器学习笔记:李宏毅diffusion model_第9张图片

 

你可能感兴趣的:(机器学习,笔记)