AI作画升级!一键帮你用Stable Diffusion 生成无限缩放效果视频

在这一篇文章中,我们介绍了利用OpenVINO™优化和加速Stable Diffusion模型的推理,在英特尔®独立显卡上能够根据我们输入的指令(prompt),快速生成我们喜爱的AI画作。今天,我们对这一应用场景再次升级,除了能够作画,利用OpenVINO对Stable Diffusion v2模型的支持及优化,我们还能够在在英特尔®独立显卡上快速生成带有无限缩放效果的视频,使得AI作画的效果更具动感,其效果也更加震撼。话不多说,接下来还是让我们来划划重点,看看具体是怎么实现的吧。 

本次无限缩放Stable Diffusion v2视频生成的全部代码请戳这里openvino_notebooks/236-stable-diffusion-v2-infinite-zoom.ipynb at main · openvinotoolkit/openvino_notebooks · GitHub OpenVINO Notebooks运行环境的安装请您参考我们的上一篇AI作画博客 

此次我们应用的深度学习模型是Stable Diffusion v2模型,相比它的上一代v1模型,它具有一系列新特性,包括配备了一个新的鲁棒编码器OpenCLIP,由LAION创建,并得到了Stability AI的帮助,与V1版本相比,此版本显著增强了生成的照片。另外,v2模型在之前的模型基础上增加了一个更新的修复模块(inpainting)。这种文本引导的修复使切换图像中的部分比以前更容易。也正是基于这一新特性,我们可以利用stabilityai/stable-diffusion-2-inpainting模型,生成带有无限缩放效果的视频。 

在图像编辑中,Inpainting是一个恢复图片缺失部分的过程。最常用于重建旧的退化图像,从照片中去除裂纹、划痕、灰尘斑点或红眼。但凭借AI和Stable Diffusion模型的力量,Inpainting可以实现更多的功能。例如,它可以用来在现有图片的任何部分渲染全新的东西,而不仅仅是恢复图像中缺失的部分。只要发挥你的想象力,你可以做出更多炫酷效果的作品来。 

下面的工作流程图解释了用于Inpainting的Stable Diffusion inpainting流水线是如何工作的:

AI作画升级!一键帮你用Stable Diffusion 生成无限缩放效果视频_第1张图片

在此次的代码示例中,我们将完成以下几个步骤: 

  1. 将PyTorch 模型转换为ONNX格式。 

  1. 利用Model Optimizer 工具,将ONNX 模型转换为OpenVINO IR 格式。 

  1. 运行Stable Diffusion v2 inpainting 流水线,生成无限缩放效果视频。 

现在,让我们来重点来看看如何配置推理流水线的代码。 

这里主要分以下三个步骤: 

  1. 在推理的硬件设备上加载模型Load models on device 

  1. 配置分词器和调度器Configure tokenizer and scheduler 

  1. 创建OvStableDiffusionInpaintingPipeline 类的示例 

我们在配备英特尔锐炫™独立显卡的机器上加载模型并运行推理,因此推理设备我们选择“GPU”。默认情况下,它使用“ AUTO”,并会自动切换至检测到的 GPU。代码如下: 

from openvino.runtime import Core 

 

core = Core() 

 

tokenizer = CLIPTokenizer.from_pretrained('openai/clip-vit-large-patch14') 

 

text_enc_inpaint = core.compile_model(TEXT_ENCODER_OV_PATH_INPAINT, "GPU") 

unet_model_inpaint = core.compile_model(UNET_OV_PATH_INPAINT, " GPU ") 

vae_decoder_inpaint = core.compile_model(VAE_DECODER_OV_PATH_INPAINT, "GPU") 

vae_encoder_inpaint = core.compile_model(VAE_ENCODER_OV_PATH_INPAINT, "GPU") 

 

ov_pipe_inpaint = OVStableDiffusionInpaintingPipeline( 

    tokenizer=tokenizer, 

    text_encoder=text_enc_inpaint, 

    unet=unet_model_inpaint, 

    vae_encoder=vae_encoder_inpaint, 

    vae_decoder=vae_decoder_inpaint, 

    scheduler=scheduler_inpaint, 

) 

AI作画升级!一键帮你用Stable Diffusion 生成无限缩放效果视频_第2张图片   

 接下来,我们输入文本提示,运行视频生成的代码吧。

import ipywidgets as widgets 

 

zoom_prompt = widgets.Textarea(value="valley in the Alps at sunset, epic vista, beautiful landscape, 4k, 8k", description='positive prompt', layout=widgets.Layout(width="auto")) 

zoom_negative_prompt = widgets.Textarea(value="lurry, bad art, blurred, text, watermark", description='negative prompt', layout=widgets.Layout(width="auto")) 

zoom_num_steps = widgets.IntSlider(min=1, max=50, value=20, description='steps:') 

zoom_num_frames = widgets.IntSlider(min=1, max=50, value=3, description='frames:') 

mask_width = widgets.IntSlider(min=32, max=256, value=128, description='edge size:') 

zoom_seed = widgets.IntSlider(min=0, max=10000000, description='seed: ', value=9999) 

zoom_in = widgets.Checkbox( 

    value=False, 

    description='zoom in', 

    disabled=False 

) 

 

widgets.VBox([zoom_prompt, zoom_negative_prompt, zoom_seed, zoom_num_steps, zoom_num_frames, mask_width, zoom_in]) 

AI作画升级!一键帮你用Stable Diffusion 生成无限缩放效果视频_第3张图片

在这一步中,我把步骤设置为 20。理想情况下,我将使用 50,以提供最好看的结果。另外,这里还可以自行设置生成的图画数量,所有生成的图画将组合起来构成最后的无限缩放效果视频。当然,我们同样还生成了 GIF 文件,以便大家多种形式可视化展示生成结果。 

最终结果。 

stable_diffusion_video

总结


当下,如果您想了解“Stable Diffusion”的工作原理,以及英特尔硬件的加速方式,OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果,请在下方评论或通过我们的 GitHub 讨论板发表评论! 祝大家编码快乐啦。

你可能感兴趣的:(AI作画,人工智能)