Stable Video Diffusion图片转视频——Stability AI开源视频模型

我们前期介绍过Stable Diffusion,stable diffusion模型是Stability AI开源的一个text-to-image的扩散模型,其模型在速度与质量上面有了质的突破,玩家们可以在自己消费级GPU上面来运行此模型。

Stable Video Diffusion图片转视频——Stability AI开源视频模型_第1张图片

文生图大模型已经火了很长一段时间了,但是随着需求的不断增加,对文生视频的需求也越来越高,上期介绍的字节发布的MagicVideo2,可以进行文本到视频的生成,只是由于没有开源代码或者线上链接进行试玩。而Stable Video Diffusion是Stability AI开源的视频生成模型,可以进行试玩。

Stable Video Diffusion,顾名思义便是视频生成模型,这里的Stable Video Diffusion是图片转视频模型,是Stability AI社区开源的一个文本或图片转视频模型。

Stable Video Diffusion图片转视频——Stability AI开源视频模型_第2张图片

Stable Video Diffusion模型支持输入一张图片,然后生成3-30帧/s 的视频,生成的视频长度在2-5s之间。其模型生成的视频质量还是相当的高的。模型有2种尺寸:

SVD:该模型经过训练,可以在给定的图片上,生成14帧/s的,分辨率为576*1024的视频

SVD-XL:该模型跟SVD采用了同样的模型结构,只是在模型训练后,可以生成25/s 的视频

Stable Video Diffusion图片转视频——Stability AI开源视频模型_第3张图片

该模型采用了文本到图片预训练,视频预训练以及高质量视频微调三个步骤打造了Stable Video Diffusion模型,其代码已经在GitHub上开源,可以在本地或者云端部署。

动画详解transformer  

https://stability.ai/stable-video
https://github.com/Stability-AI/generative-models/tree/main
更多transformer,VIT,swin tranformer
参考头条号:人工智能研究所
v号:启示AI科技
微信中复制如下链接,打开,免费体验chatgpt
 
https://wx2.expostar.cn/qz/pages/manor/index?id=1137&share_from_id=79482&sid=24

你可能感兴趣的:(音视频,人工智能)