一句话生成角色动画 # text2motion

一句话生成角色动画 # text2motion_第1张图片

当你和他人谈论人工智能的潜力时,很多人都表露出同样的担心:

害怕被取代

特别在最近几个月,随着生成式人工智能的投资和创新的爆炸性增长,这些不安的感觉更加强烈。

机器学习中相对较新的创新,即扩散模型(diffusion models),使文本到图像的生成变得成熟,也正在人工智能学术界和工业界获取越来越多的关注。续 GAN 之后,大放异彩的扩散模型除了生成图像,还可以生成动作。

比如以色列 Tel Aviv University 在今年 10 月开源的 Human Motion Diffusion Model 项目,人体运动扩散模型,简称 MDM ,就是通过 AI 识别人的骨骼行为模型。

直接上效果~ 一句话生成角色动画 # text2motion_第2张图片

MDM 的功能就是:利用扩散模型

根据文字直接驱动人体三维模型

做出相应的动作‍

一句话生成角色动画 # text2motion_第3张图片

图片来源:MDM

若能被AI扩充那样骨骼识别-肌肉移动-动画视频的创作方式若能实现, MDM 将会极大辅助影视和游戏等行业的工作流。

MDM 有一个通用设计框架,来支持不同形式的条件反射,目前可以实现从文本到运动、从行动到运动和无条件生成的任务。

在文本到运动的任务中,MDM 的模型生成连贯的动作,在人类 ML3D 和 KIT 基准上实现了最先进的结果。

同时也有用户研究表明,人类评估人员在 42% 的时间里更喜欢我们生成的动作而不是真实的动作。

一句话生成角色动画 # text2motion_第4张图片

从文本到运动

文本到运动是在给定输入文本提示的情况下生成运动的任务。输出运动预计既要实现文本描述,也要从数据分布中获得有效样本(即遵守一般人类能力和物理规则)。此外,对于每个文本提示,MDM 还期望匹配它的运动分布,而不仅仅是一个结果。

一句话生成角色动画 # text2motion_第5张图片

从行动到运动

行动到运动是在给定输入动作类的情况下生成运动的任务,由标量表示。同时,输出的运动也是基于数据集分布反映的自然模型训练。

在此前,无论是游戏还是电影要做特效时,演员需要穿上特制的服装,贴上 marker,在动捕系统的覆盖下完成表演。后期制作时,特效师将采集到的肢体动作和面部表情重定向到虚拟角色中,然后经过不断的后处理让虚拟人的动作尽可能真实。

因此,动作捕捉 + 重定向 + 后处理涉及大量的人工操作,过程十分烧钱。但有了 MDM  这类动作生成模型,就能够快速又真实的生成特定的动作,最关键的是节省不少成本。

一句话生成角色动画 # text2motion_第6张图片

你可能感兴趣的:(一句话生成角色动画 # text2motion)