围观人类弹琴后，Facebook的AI学会了假装演奏

安妮 编译自 CNBC
量子位 出品 | 公众号 QbitAI

Facebook的AI研究人员想让卡通形象看起来像在演奏乐器。

脑补不出来？画面可能是下面这样的——

class="video_iframe" data-vidtype="2" allowfullscreen="" frameborder="0" data-ratio="1.7647058823529411" data-w="480" data-src="http://v.qq.com/iframe/player.html?vid=d13318n4lla&width=670&height=376.875&auto=0" style="display: block; width: 670px !important; height: 376.875px !important;" width="670" height="376.875" data-vh="376.875" data-vw="670" src="http://v.qq.com/iframe/player.html?vid=d13318n4lla&width=670&height=376.875&auto=0"/>△ 让卡通形象听音演奏

在上面的视频中，一个只有上半身的卡通小人随着播放的音乐假装在演奏或小提琴或钢琴，并且手的位置和节奏还随着播放音乐的变化而变化。

不知道的还真以为是这个半身的卡通形象在演奏虚拟乐器呢，它是怎么学会假装演奏的本领的？

在论文Audio to Body Dynamics中，Facebook、斯坦福大学和华盛顿大学的Eli Shlizerman和Lucio Dery等四人揭秘了这个卡通形象背后的故事。

教机器理解人类如何运动是AI研究的一个活跃领域，但一般来说，这需要大量视频来源。研究人员发现，Youtube上有非常多人类演奏钢琴、小提琴的视频可以利用，因此他们选用这些数据训练模型。

模型训练好再听到音乐时，LSTM网络已经具备了预测人类肢体动作的能力，先输出手臂和手指的骨骼轮廓。之后研究人员将其卡通化，做成卡通形象在演奏的模样。

△ 头像动作生成流程

在接受外媒CNBC采访时，研究人员表示，此项研究非常有意义。

“我们相信在VR/AR的应用中，音频和人类动作相关联前景光明。”研究人员说。

目前，Facebook还在继续推进旗下的VR头戴设备制造商Oculus进行VR研究。本月初，Facebook还推出了一套新工具，方便开发人员为Facebook的应用开发AR功能。

不过这些头像小人演奏的准确性还有待改善。研究人员认为，可以利用人类演奏的MIDI文件，或者从音乐家的传感器中获取数据，提高头像们弹奏的准确性。

最后，附论文地址：

https://arxiv.org/abs/1712.09382

— 完 —

加入社群

量子位AI社群13群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot2入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot2，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态