Google重磅发布视频生成模型Lumiere 据说后续会开源
亮点1.支持文本到视频与图像到视频
亮点2.画风迁移
亮点3.运动蒙版
亮点4.视频编辑
亮点5.视频修复
谷歌视频模型可以生成80帧的片段!不仅画质好、质量高,而且时长更长。
除了修改画面的内容,甚至还可以针对损失局部画面的视频进行填充修补。
除了视频编辑功能,谷歌Lumiere自然也支持从文本生成视频片段
谷歌Lumiere另外一个非常好用的功能,便是将静态图像转换为动态视频。
输入提示词「姑娘微笑和眨眼」,戴珍珠耳环的少女从名画中走出,咧嘴笑了起来。
梵高《星空》,以令人不可思议的方式流动起来。
除了一般的“图生视频”,谷歌Lumiere模型还能根据参考图生成特定风格的动态艺术视频。
比如,传一张夜光蘑菇图,生成各种散发荧光的动物。
谷歌的这个新架构则是让AI先掌握物体的运动逻辑。采用这种方法,能够以16FPS生成80帧的连贯动画,产生了更多的全局连贯运动。
具体可以在他们官网上了解详情
https://lumiere-video.github.io/