动作捕捉系统让Hermes智能机器人顺利完成救援任务 | 广东省智能创新协会

麻省理工学院的Hermes是一种双足智能机器人，测试员JoãoRamos穿着一件遥控套装，将他的身体连接到HERMES，这是一种专为灾难应对而设计的双足机器人。

一个突如其来的悲惨警告：这是多少机器人专家看到2011年日本发生的大地震和海啸造成的福岛第一核电站灾难。事故发生后的报告描述了高水平的辐射挫败了工人的企图紧急措施，如操作压力阀。这对机器人来说是完美的任务，但在日本或其他地方都没有能力将其拉下来。福岛迫使机器人社区的许多人意识到我们需要将我们的技术从实验室带到世界各地。

自福岛以来，灾难响应机器人取得了重大进展。世界各地的研究小组已经展示了可以驾驶瓦砾的无人地面车辆，可以挤过狭窄间隙的机器人蛇，以及可以从上方绘制地点的无人机。研究人员还在建造人形机器人，可以测量损坏情况并执行关键任务，例如进入仪表板或运输急救设备。

但是，尽管取得了进步，建造具有相同的发动机和应急工作决策技能的机器人仍然是一个挑战。推开沉重的门，卸下灭火器，以及其他简单但艰巨的工作需要机器人尚未掌握的协调水平。

补偿这种限制的一种方法是使用远程操作 - 让操作人员连续地或在特定任务期间远程控制机器人，以帮助其完成比其自身更多的操作。

远程操作机器人长期以来一直用于工业，航空航天和水下环境。最近，研究人员已经尝试使用动作捕捉系统将人的动作实时转移到人形机器人：你挥动手臂，机器人模仿你的手势。为了获得完全身临其境的体验，特殊的护目镜可以让操作员通过相机看到机器人看到的东西，触觉背心和手套可以为操作员的身体提供触觉。

在麻省理工学院的仿生机器人实验室，我们的团队正在进一步推动人与机器的融合，以期加速实际灾难机器人的发展。在国防高级研究计划局的支持下（DARPA），我们正在构建一个遥控机器人系统，它有两个部分：一个能够灵活，动态行为的人形机器人，以及一种新的双向人机界面，可以将您的动作发送给机器人，并将机器人的动作发送给您。因此，如果机器人踩上碎片并开始失去平衡，操作员会感觉到同样的不稳定性并本能地做出反应以避免跌落。然后我们捕获该物理响应并将其发送回机器人，这有助于避免坠落。通过这种人机交互，机器人可以利用操作员的先天运动技能和瞬间反应来保持其立足点。

你可以说我们把人脑放在机器里面。

未来的灾难机器人 理想地拥有大量的自主权。有一天，我们希望能够将机器人送入燃烧的建筑物中以自行搜索受害者，或者在受损的工业设施中部署机器人并找到需要关闭的阀门。我们远远没有达到这种能力水平。因此对遥操作的兴趣日益增加。

美国的DARPA机器人挑战赛和日本的ImPACT艰难机器人挑战赛是最近展示远程操作可能性的努力之一。让人类进入循环的一个原因是灾难现场的不可预测性。导航这些混乱的环境需要高度的适应性，目前的人工智能算法还无法实现。

例如，如果自主机器人遇到门把手但在门把手数据库中找不到匹配，则任务失败。如果机器人手臂卡住并且不知道如何自行解放，则任务失败。另一方面，人类可以轻松应对这种情况：我们可以随时适应和学习，我们每天都这样做。我们可以识别物体形状的变化，应对可怜的能见度，甚至可以弄清楚如何在现场使用新工具。

我们的运动技能也是如此。考虑用沉重的背包跑步。如果没有额外的重量，你可能会跑得更慢或没有，但你仍然可以执行任务。我们的身体可以轻松地适应新的动态。

我们正在开发的遥操作系统并非旨在取代有腿机器人用于自我平衡和执行其他任务的自主控制器。我们仍然为我们的机器人配备尽可能多的自主权。但是通过将机器人与人类联系起来，我们充分利用了两全其美：机器人的耐力和力量，以及人类的多功能性和感知力。

我们的实验室长期探索生物系统如何激发更好机器的设计。现有机器人的一个特殊限制是它们无法执行我们称之为动力操纵的强大功能 - 例如将一大块混凝土敲开或将斧头转入门中。大多数机器人设计用于更精细和精确的运动和温和的接触。

我们设计了我们的人形机器人，称为HERMES（用于高效机器人机制和机电系统），专门用于这种类型的重型操纵。这款机器人的重量相对较轻，重量仅为45千克，而且坚固耐用。它的身体大约是普通人体的90％，这足以让它在人类环境中自然地操纵。

我们使用猎鹰平台，这是一种能够进行短跑和跳跃等爆炸性运动的四足机器人，而不是使用常规的直流电机，我们使用定制执行器为HERMES的关节提供动力。执行器包括耦合到行星齿轮箱的无刷直流电机 - 因为它的三个“行星”齿轮围绕“太阳”齿轮旋转而被称为 - 它们可以为它们的重量产生大量的扭矩。机器人的肩部和臀部直接驱动，而膝盖和肘部由连接到执行器的金属杆驱动。这使得HERMES比其他类人生物更不僵硬，能够吸收机械冲击而不会使齿轮碎成碎片。

我们第一次为HERMES供电，它仍然只是一对腿。机器人甚至不能独立站立，因此我们将其悬挂在安全带上。作为一个简单的测试，我们将其左腿编程为踢腿。我们抓住了实验室里发现的第一件东西 - 一个塑料垃圾桶 - 放在机器人面前。看到HERMES 在房间里踢垃圾桶真是令人满意。

我们为控制HERMES而建立的人机界面与传统的人机界面不同，它依赖于操作员的反应来提高机器人的稳定性。我们称之为平衡反馈界面，即BFI。

BFI需要数月和多次迭代才能开发。最初的概念与2018年Steven Spielberg电影Ready Player One中的全身虚拟现实服装有一些相似之处。那个设计从未离开过绘图板。我们发现物理跟踪和移动一个人的身体 - 超过200块骨头和600块肌肉 - 不是一项简单的任务，因此我们决定从一个更简单的系统开始。

为了与HERMES合作，操作员站在一个方形平台上，侧面约90厘米。称重传感器测量平台表面的力，因此我们知道操作员的脚向下推的位置。一组连杆附着在操作员的四肢和腰部（基本上是人体的质心），并使用旋转编码器精确测量位移在不到一厘米的范围内。但是有些联系不仅仅是用于传感：它们中还装有电机，用于向操作员的躯干施加力和扭矩。如果您将自己绑在BFI上，这些连接可以为您的身体施加高达80牛顿的力量，这足以让您获得良好的推力。

我们设置了两台独立的计算机来控制HERMES和BFI。每台计算机都运行自己的控制循环，但双方都在不断交换数据。在每个循环开始时，HERMES收集有关其姿势的数据，并将其与从BFI收到的有关操作员姿势的数据进行比较。根据数据的不同，机器人调整其执行器，然后立即将新的姿势数据发送到BFI。然后BFI执行类似的控制回路以调整操作员的姿势。此过程每秒重复1,000次。

为了使双方能够以如此快的速度运作，我们不得不压缩他们共享的信息。例如，不是发送操作员姿势的详细表示，而是仅发送人的质心位置和每只手和脚的相对位置。然后，机器人的计算机将这些测量值与HERMES的尺寸成比例地缩放，HERMES再现该参考姿势。与任何其他双向遥操作环路一样，这种耦合可能导致振荡或不稳定。我们通过微调映射人体和机器人姿势的缩放参数来最小化它。

为了测试BFI，我们中的一个人（Ramos）自愿成为运营商。毕竟，如果你设计了系统的核心部分，你可能最适合调试它。

在最初的一个实验中，我们测试了HERMES的早期平衡算法，以了解人类和机器人在耦合在一起时的行为方式。在测试中，一位研究人员使用橡皮锤在其上身击中HERMES。每次罢工，BFI都对拉莫斯施加了类似的震动，他反射性地转移身体以恢复平衡，导致机器人也陷入困境。

到目前为止，HERMES仍然只是一双腿和一条躯干，但我们最终完成了身体的其余部分。我们制造的手臂使用与腿和手相同的执行器，由碳纤维增强的3D打印部件制成。头部配有立体声摄像头，用于将视频流式传输到操作员佩戴的耳机。我们还加了一顶安全帽，因为。

在另一轮实验中，我们让HERMES穿过干墙，在一块木板上挥动斧头，并且在当地消防部门的监督下，使用灭火器进行控制火焰。然而，灾难机器人需要的不仅仅是蛮力，因此HERMES和Ramos也执行了需要更多灵活性的任务，比如将水从壶中倒入杯中。

在每种情况下，当操作员模拟在绑定到BFI时执行任务时，我们观察到机器人镜像这些动作的程度。我们还研究了操作员的反应最能帮助机器人的情景。例如，当HERMES打了干墙时，它的躯干向后反弹。几乎立刻，相应的力量推动了操作员，他反射性地向前倾斜，帮助HERMES调整姿势。

我们已准备好进行更多测试，但我们意识到HERMES对于我们想要做的许多实验来说太大而且功能强大。虽然人性化的机器可以让你执行逼真的任务，但移动也很耗时，而且它需要很多安全预防措施 - 它正在挥舞着斧头！尝试更多动态行为，甚至走路，都证明是困难的。我们决定HERMES需要一个小兄弟。

Little HERMES是HERMES的缩小版。像它的大哥一样，它使用定制的高扭矩执行器，它们安装在靠近车身而不是腿上。这种配置允许腿更快地摆动。对于更紧凑的设计，我们以机器人的说法减少了运动轴或自由度的数量 - 从每个肢体的六到三个，我们用简单的橡胶球替换原来的双脚脚，每个脚都有三个 - 轴力传感器塞在里面。

将BFI连接到Little HERMES需要进行调整。人类成年人和这个较小的机器人之间的规模存在很大差异，当我们试图将他们的动作直接联系起来 - 绘制人类膝盖的位置和机器人的膝盖，等等 - 它导致了生涩的运动。我们需要一个不同的数学模型来调解两个系统。我们提出的模型跟踪参数，如地面接触力和操作员的质心。它捕获了操作员预期运动的一种“轮廓”，Little HERMES能够执行。

在一个实验中，我们让操作员一步到位，先慢慢然后再加快。我们很高兴看到Little HERMES以同样的方式进行游行。当操作员跳楼时，Little HERMES也跳了起来。

在我们拍摄的一系列照片中，您可以在半空中看到人类和机器人短暂的瞬间。我们还将机器人脚下的木块作为障碍物放置，机器人的控制器能够防止机器人掉落。

其中大部分仍然是初步工作，Little HERMES不是自由站立或能够四处走动。连接在其背面的支撑杆防止其向前倾斜。在某些时候，我们希望进一步开发机器人并将它放松到实验室周围，甚至可能在户外，因为我们已经完成了Cheetah和Mini Cheetah（是的，它也有一点兄弟）。

我们接下来的步骤 包括解决一系列挑战。其中之一是操作员在长时间使用BFI或需要大量注意力的任务后经历的精神疲劳。我们的实验表明，当你不仅要指挥自己的身体而且指挥机器的时候，你的大脑就会快速疲劳。这种效果对于精细操作任务尤其明显，例如将水倒入杯中。连续三次重复实验后，操作员不得不休息一下。

这里的解决方案是让操作员和机器共同负责稳定机器人。如果HERMES正在执行需要操作员更多有意识努力的任务，操作员也不必保持机器人平衡; 自主控制器可以接管机器人的平衡。识别此类场景的一种方法是跟踪操作员的注视。固定的凝视表示精神上的征税任务，在这种情况下，自主平衡模式应该启动。

我们的系统或任何远程操作系统的另一个障碍是传输延迟。想象一下，你正在远程控制机器人，你的命令和机器人的反应之间有1秒的延迟。您仍然可以远程操作它，但如果延迟变得更大，您可能会开始感到迷失方向并且无法进行操作。我们的计划是依靠新的无线技术，如5G，提供低延迟和高吞吐量传输。

最后，还有一些我们想要探索的大胆的新设计。尽管HERMES和Little HERMES是双腿机器人，但救援机器人应该是双足机器人并不是真正的原因。一种有希望的可能性是一种机器，它可以四条腿走路来穿越具有挑战性的地形，然后站在它的后肢上执行操纵任务，就像一些灵长类动物一样。

我们的长期愿景是合并我们在实验室开发的腿式机器人：Cheetah和HERMES。结果将是一个快速移动的四足机器人，可以自动进入灾难现场，然后转变为一个双足机器人，可以借用经验丰富的第一响应者的技能和反应。我们相信这些技术将帮助急救人员更好，更安全地完成工作。

有一天，希望很快，机器人会在被召唤时做好准备。