AI视频生成:Google发布时空扩散大模型Lumiere

“神说:‘要有光!’ 于是就有了光。”,这句话来自《圣经》旧约《创世纪》的第一章。

Google新发布的这个AI视频模型取名为Lumiere,这是一个法语词,本意就是光。由此可见Google对这个模型是赋予了很多期望的,当然我们这些围观群众也很期待。

效果展示

废话不多说,先看效果吧。

是不是效果很炸裂,Lumiere现在能生成5秒共80帧的视频,比我之前使用的Stable Video Diffusion多一秒,而且画面看起来更加稳定,动作比较连贯。

对于网络比较强大的同学,可以到Github这里看下完整的效果演示:Lumiere

Lumiere介绍

Google Lumiere是一种基于文本到视频的扩散模型,旨在实现从文字描述直接生成展现真实、多样且连贯动作的高质量视频。告别传统的绿幕技术和繁琐的手动动画过程,Lumiere让你只需通过文字描绘场景与动态,就能创造出流畅自然、引人入胜的视频内容。这款智能模型经由海量文本和视频数据训练而成,使得文字创意能够迅速转化为视觉盛宴。

时空U-Net架构是Lumiere的核心技术亮点。不同于现有的逐帧或关键帧合成后进行时间分辨率提升的视频模型,Lumiere一次性处理即可生成整个视频的时间长度,确保了全局时间上的连续性和一致性。这一创新极大地提高了视频合成的质量,消除了过渡不自然的问题,为用户带来前所未有的创作体验。

AI视频生成:Google发布时空扩散大模型Lumiere_第1张图片

使用Google Lumiere的好处多方面体现:

  1. 释放无尽想象:无论是幻想中的奇幻世界还是历史事件的再现,只要用文字描绘出来,Lumiere都有能力将之生动呈现出来,让想象力插上翅膀飞翔。
  2. 强化叙事表达:不论是教育演示、社交媒体分享还是个人短片制作,Lumiere所生成的精美绝伦的AI视频画面都能显著提升作品的表现力与吸引力。
  3. 全民参与创作:消除复杂视频剪辑技术的难度,Lumiere让没有专业影视背景的人也能涉足视频创作领域,尽情探索视觉故事的无限可能。

Lumiere的能力

那么Lumiere具体有哪些能力呢?

文生视频

用户通过文字描述(也就是提示词)指示Limiere生成视频。我之前介绍过的Runway也支持这种方式。

图生视频

上传一张图片,再加上提示词,然后生成视频。这个能力很强,目前开源的Stable Video Diffusion只能根据图片生成视频,不能附加提示词,全靠模型猜测。虽然Runway也支持图片加提示词生成视频,但是感觉效果一般。

多种风格视频

这个有点像SDXL的多种风格图片生成能力,但是Lumiere可以生成视频。用户可以从“贴纸”、“线条”、“平面卡通”、“水彩”、“荧光”、“3D金属质感”以及“3D渲染”这七种不同的素材风格中进行选择,并根据自身需求进行灵活调整。

影图效果(Cinemagraphs)

用户可以圈定一小块区域,只让这一部分的内容动起来。比如只让火堆燃烧而天上的云不动。

Cinemagraphs 是一种视觉艺术形式,它巧妙地融合了静态图片和动态元素,创造出介于照片与视频之间的独特视觉体验。Cinemagraphs 在时尚界尤其受到青睐,常被用于广告宣传、社交媒体内容创作以及各类艺术表达之中,成为现代数字媒体中引人注目的创新交流工具。

视频风格化

用户能够改变运动中物体的材质,以实现某些风格化的效果。

视频局部重绘

用户可以使用蒙版盖住一部分视频区域,然后Lumiere会重新绘制这部分,并与周围的画面很好的融合。

怎么使用Lumiere

目前,Google Lumiere尚处于研发阶段,并未面向公众开放。但研究团队正紧锣密鼓地对模型进行测试和优化,期待未来能有更多用户接触到这款前沿的AI工具。

请持续关注后续文章以获取最新进展,并把握可能出现的beta测试机会,共同见证这场由Google Lumiere引领的视频创作革命。


很多大佬预测2024年将迎来AI视频领域的大爆发,手机制作电影或许不再遥远,关注“萤火遛AI”,让我们一起拥抱这个伟大的AI时代!

你可能感兴趣的:(AIGC,人工智能,音视频,AI视频,Google,Lumiere)