diffusion model classifier-guided与classifier-free的区别

classifier-guided

训练阶段

diffusion model 和 classifier分开训练。
diffusion model的数据训练数据为

classifier的数据训练数据为

生成图片阶段

每一个时间步的降噪中会用当前时间步图片在classifier的类别梯度来调整均值。（如上图所示）
之前写了一篇文章有详细介绍。
优点：
不用重新训练diffusion model就能引导朝向期望类别的图片生成。
缺点：
需要额外训练一个分类器，架构不够简洁
只能生成特定类别的图片，无法实现语义级别的生成。

2. classifier-free

训练阶段

只需训练diffusion model ，但该diffusion model有一个语义输入。一般采用cross-attention来将语义特征与图片特征进行融合。
diffusion model的数据训练数据为
是图片 对应的语义描述。

生成图片阶段

生成阶段无需分类器引导。生成过程每一个时间步的生成需要将语义embedding也输入到diffusion model中，详细可参考
优点：
架构简洁
可以实现语义级别的图像生成如现在大火的stable-diffusion
缺点：
需要重新训练diffusion model，训练成本较大。stable diffusion 在Laion5B用了256张A100训练15w 机时，一般公司无法承担如此大的训练成本。