趋势:实时的stable diffusion

视频中使用了实时模型:只需2~4 个步骤甚至一步即可生成768 x 768分辨率图像。

这项技术可以把任意的stable diffusion模型转为实时模型。

潜在一致性模型 LCM

LCM 只需 4,000 个训练步骤(约 32 个 A100 GPU 一小时)即可从任何预训练的SD模型中提取出实时模型。

趋势:实时的stable diffusion_第1张图片

实现原理:

@opus,你知道吗,论文作者发明了一种叫做潜在一致性模型(LCMs)的技术,它可以帮助我们更快地生成高质量的图像。

趋势:实时的stable diffusion_第2张图片

shadow

趋势:实时的stable diffusion_第3张图片

opus

有点深奥,为什么能更快???

现在,我来给你举个例子来解释一下这个技术是怎么实现的。

#

想象一下,我们要画一张美丽的风景画,但是我们只知道一些描述这个风景的文字,比如"在湖边有一棵高大的树,周围有很多花和小鸟"。

在以前,我们需要一步一步地进行迭代,才能一点点地画出这个画面。

趋势:实时的stable diffusion_第4张图片

但是有了LCMs技术,我们可以更快地生成这样的图像。

LCMs通过直接预测一个叫做ODE解的东西,来解决这个画图的过程。

ODE解可以想象成是一种数学方程,它告诉我们如何把文字描述转化为图像。

代替了之前需要一步步计算,来逐步求解的过程。

通过直接预测这个ODE解,我们不再需要反复迭代,而是可以快速地生成出高质量的图像。

趋势:实时的stable diffusion_第5张图片

通过LCMs技术,我们可以更快地将文字描述转化为图像,让我们可以更方便地创造出美丽的画面。

希望这个例子能帮助你理解LCMs技术的原理哦!

体验地址

https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7

趋势:实时的stable diffusion_第6张图片

社群通道

你可能感兴趣的:(stable,diffusion,人工智能,计算机视觉)