机器学习赋予用户“超人”的能力来打开和控制虚拟现实中的工具

原创 | 文 BFT机器人 

最近，剑桥的研究人员开发了一种虚拟现实应用程序，只需用户手部的移动即可打开和控制一系列3D建模工具。

来自剑桥大学的研究人员利用机器学习开发了“HotGestures”类似于许多桌面应用程序中使用的热键（快捷键）。HotGestures使用户能够在虚拟现实中构建图形和形状，而无需与菜单交互，帮助他们专注于任务，而且不会打乱思路。

几十年来，能够在虚拟现实中打开和控制工具的这一想法一直是电影中才会出现，研究人员表示，这是第一次使这种“超人”能力成为现实。该研究结果还发表在《IEEE可视化与计算机图形学汇刊》杂志上。

多年来，虚拟现实(VR)和相关应用一直被誉为游戏规则改变者，但在游戏之外，它们这种作用效能尚未完全实现。领导这项研究的剑桥大学工程系教授佩尔·奥拉·克里斯滕森(Per Ola Kristensson)表示：“用户在使用VR时获得了一些品质，但很少有人愿意长时间使用它。” 除了视觉疲劳和人体工程学问题之外，VR并没有真正提供在现实生活中无法获得的东西。

大多数桌面软件用户都会熟悉热键（快捷键）的概念——命令快捷方式，例如用于复制的ctrl+c和用于粘贴的ctrl+v。虽然这些快捷方式不需要打开菜单来查找正确的工具或命令，但它们依赖于用户记住要记得住并且正确下达指示。

人工智能中心以及相关研究人员希望采用热键（快捷键）的概念，并将其转变为对虚拟现实更有意义的东西—— 一种不依赖于用户脑中已经有快捷键的东西。人工智能中心Kristensson和他的同事开发了“HotGestures”，而不是热键（快捷键），用户可以通过用手势来打开和控制他们在3D虚拟现实环境中所需的工具。

“HotGestures”能够简单便捷的方式来帮助用户完成操作指令，例如，执行切割运动会打开剪刀工具，而执行喷射运动会打开喷雾罐工具。用户无需打开菜单来查找所需的工具，也无需记住特定的快捷方式。用户可以通过在任务期间执行不同的手势来在不同的工具之间无缝切换，而无需暂停工作来浏览菜单或按下控制器或键盘上的按钮。

克里斯滕森说：“在现实世界中，我们都用手进行交互，因此将这种交互所形式扩展到虚拟世界是有意义的。”

在这项研究中，研究人员构建了一个神经网络手势识别系统，可以通过对传入的手部关节数据流进行预测来识别手势。该系统旨在识别与构建3D模型相关的十种不同手势信息：钢笔、立方体、圆柱体、球体、调色板、喷涂、剪切、缩放、复制和删除。

该团队进行了两项小型研究，参与者使用HotGestures、菜单命令或组合。基于手势的技术为工具选择和使用提供了快速有效的快捷方式。参与者发现HotGesture独特、快速且易于使用，同时还补充了传统的基于菜单的交互。研究人员设计的系统不会出现错误激活——基于手势的系统能够正确识别什么是命令，什么是正常的手部动作。总体而言，基于手势的系统比基于菜单的系统更快。

目前还没有可用的VR系统可以做到这一点，克里斯滕森说：“如果使用VR就像使用键盘和鼠标一样，那么使用它还有什么意义？它需要给你几乎超人的力量，这是你在其他地方无法获得的。”

研究人员已公开源代码和数据集，以便VR应用程序的设计者可以将其整合到他们的产品中。

希望这成为与VR交互的标准方式，几十年来一直使用的以文件柜为基点的方式，已不再适应时代发展的需求。我们需要与技术交互的新方式，我们认为这是朝这个方向迈出的一步。如果做得好，VR可以像魔法一样。

该研究得到了英国研究与创新 (UKRI) 旗下工程和物理科学研究委员会 (EPSRC) 的部分支持。

注：若您对该文章内容有任何疑问，请与我们联系，将及时回应。