GTC '19 经典回顾 | 如何编排和创造二次元中的舞蹈？

By 超神经

场景描述：日前于苏州举办的 GTC China 2019 上，网易雷火伏羲实验室介绍了其 AI 编舞项目，借此提升游戏中动画的表现。将传统的人工编舞技术赋予 AI，可以在更短的时间内得到符合游戏品质的舞蹈内容。因此，可以促进更多玩家进行互动与分享，同时将宋词歌舞以游戏的形式呈现在大众眼前。

关键词：AI 编舞 音乐-动作翻译网络 混合密度网络

唐诗逸，中国歌剧舞剧院国家一级演员，包揽了多个国内重大舞蹈大赛桂冠；《逆水寒》，网易雷火伏羲实验室打造的武侠网游，改编自温瑞安的小说《四大名捕》。

谁会想到，有一天，唐诗逸会穿上一身动作捕捉服，出现在《逆水寒》的制作团队中。她闪展腾挪的翩翩舞姿，一望一回眸的神韵，都即时被映射在游戏人物李师师身上。

唐诗逸说：「自己的舞姿，通过游戏，达到了永恒。」

这是《逆水寒》开发组利用 AI 进行编舞的一个环节。开发组与中国歌剧舞剧院团队合作，希望将中国文化与古典舞蹈植入游戏，让文化瑰宝以游戏元素的形式流传下去。

而为了提升动画的品质与创新力，除了邀请专业的编舞师，根据相应音乐进行舞蹈编排，团队还将人工智能应用在编舞环节，让 AI 根据这些专业动作，自己学会编出与不同音乐相匹配的舞蹈。

 

 雷火伏羲实验室，用 AI 打造更佳游戏体验

网易集团下属的网易雷火伏羲实验室（以下简称实验室），于 2007 年创立，是网易在杭州的第一个游戏工作室。实验室先后开发了《倩女幽魂》、《天谕》和《逆水寒》三大旗舰游戏品牌，在动作、体育、休闲游戏领域做出尝试。

实验室近年来在 AI 领域不断发力，在游戏中推出了多个 AI 支持的应用，为玩家营造科技时代的游戏体验。比如，《潮人篮球》中运用多智能体训练出的 3v3 对战机器人；《天谕》中利用人工智能算法进行外挂检测等。

在为《逆水寒》中的人物进行舞蹈编排项目中，实验室为了提升游戏中动画的表现以及提高编排效率，也将人工智能技术运用在其中。通过 AI 技术支持，玩家不仅可以自行设定人物的舞蹈动作，还能设定场景、光线，尽情发挥。

玩家用 AI 编舞自制视频合集

AI 编舞这项技术具体是怎么实现的呢？我们一起来听听，这项技术背后的开发者带来的详细解说。

传统编舞效率低，怎么破？

在今年 12 月 19 日于苏州举办的 GTC China 2019 上，来自网易雷火伏羲实验室的资深算法工程师温翔带来了题为《基于视频信息指导的智能编舞系统》的演讲，带我们探索如何用人工智能编舞。

温翔介绍道，舞蹈很容易让用户产生共鸣，因此，越来越多的场景都会依赖于舞蹈内容，跟玩家进行互动。比如电子游戏、VR 互动等场景。温翔与其智能动画团队也希望可以用技术来提升动画制作效益，以及提升动画的表现。

对于动画舞蹈内容制作，传统的方式有两种，一是专业编舞师根据音乐编排，用专业设备将舞蹈动作剥离之后，由专业动画师进行修改，得到最终作品；另外一种是在需要批量制作舞蹈内容时，需要有舞蹈经验的擦花将音乐切割开，然后把已经制作好的舞蹈动作拼到音乐中。

但这两种方式，都十分消耗时间与人力。于是，温翔和他的团队便想，能否通过 AI 将编舞流程优化，根据一段音乐，自动得到与之匹配的舞蹈动作？他们将想法付诸实践。

 

听了音乐，看过视频，AI 学会了编舞

团队在最初面临的问题是，一方面音乐和舞蹈动作的数据，有很多噪声；另一方面，数据量达不到期望。

为了解决这些问题，团队发现，在抖音、YouTube 等平台上，有很多很专业的编舞视频，这些视频里面都包含了音乐跟 2D 的骨架信息。而他们可以利用现有的 2D 骨架算法，把音乐的 2D 骨架信息分析出来，最终为其匹配 3D 动作。

基于这样的思路，AI 编舞项目便启动了。

 AI 编舞第一步 

 音乐-动作翻译网络 

AI 编舞的第一步 ，是将音乐与舞蹈动作翻译为可用的数据，即 Audio-Motion Interpreter Network（音乐-动作翻译网络）。

首先从 YouTube 上选取一定量的专业舞蹈视频，包括 Urban、hip-hop、中国舞等多种类型。然后抓取大概 200 个样本，每个样本 3~6 分钟，用 2D 骨架检测，对数据进行预处理。

对于分镜、遮挡以及镜头移动过快会影响 2D 骨架展示的这些问题，团队加入了一些伦理规则在里面。处理之后，得到了音乐与 2D 骨架数据。

利用深度学习，将人体舞蹈姿态提取为 2D 骨架数据

之后，团队利用混合密度网络（MDN），进行身体姿态的具体预测，以将动作与音乐进行匹配。

这一步骤的核心，就是要得到与音乐相匹配的 2D 骨架移动信息。

 AI 编舞第二步 

 基于相的 3D 动作匹配 

第二步，将 3D 动作匹配到 2D 骨架移动信息上，即 Phase-based Dance Matching（基于相的 3D 动作匹配。

这一步主要是基于对动作取向的分析进行匹配。这里的要素包括全局的 motion features，和局部的曲线信息，比如上半身或下半身的曲线信息。然后基于 16 拍为一个周期的理论，将动作切开。

在切分过程中，并不是随意去切，而是基于一个 breakpoint 的点，这个点的动作往往被认为是舞蹈动作的转折点。

动作曲线变化的绝对值的峰值，被认为是一个 Breakpoint

通过这样的方式，将一个舞蹈动作切分成更多细分动作。然后将这些动作与 3D 动作库中的动作信息进行匹配。对每组匹配会进行打分，而得分最高的动作，就会作为最终最合理、最美观的输出结果。

然后通过这样的匹配，最终输入音乐，得到完整的 3D 舞蹈动作。

 AI 编舞第三步 

 让舞蹈更专业，加入动作变数 

完成动作匹配，并不是全部。团队发现，舞蹈风暴、街舞 battle 等活动中，高手跳舞总是会有一些不一样。通过观察，他们发现，主要因为在音乐踩点的环节，高手会有所不同。

因此，团队加入动作变数（Animation Warping），就是希望 AI 匹配也能够做到这一点。于是，在匹配最接近的踩点音乐点时，他们会将音乐点拉伸或压缩，在接近踩点的时机，让动作曲线更有加速度，于是得到踩点契合度更高的效果。

加入动作变数，使得舞蹈踩点时机更为精准

AI 编舞，激发无限想象力

据介绍，目前，该项目已被应用于营销工具、游戏中，在《逆水寒》游戏中，有的玩家，甚至用 AI 编舞项目，让男性游戏角色跳起了妖娆的舞蹈，引来网友围观。

网友用《逆水寒》游戏 AI 编舞所创作的作品

为了避免产生同样的舞蹈，团队也为输出网络加入了随机性，因此，同样的音乐，都会得到不同的舞蹈，玩家们并不必担心作品「撞衫」。

不得不说， 在 AI 技术加持下，中国文化能变成游戏元素，呈现在大众眼前，得到更加广泛的传播。与此同时，游戏也因此变得越来越有趣，越来越个性化。

借用网易伏羲人工智能实验室负责人李仁杰的话，「AI 让游戏更美好，让世界更美好」。

—— 完 ——

扫描二维码，加入 AI 讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容（点击图片阅读）