Robotic Telekinesis

Robotic Telekinesis解读

  • 摘要
  • 1. 简介
  • 2. Related Work
    • 2.1 了解人类的手和身体
    • 2.2 运动学重定向和视觉遥操作
  • 3. Robotic Telekinesis
    • 3.1 Hand Teleoperation: Human Hand to Robot Hand Pose
      • 3.1.1 基于2D图像的3D手部姿态估计
      • 3.1.2 3D人手到机器人手控制
      • Youtube人类互动视频数据集
      • Retargeter Network(重定向网络)
      • 通过能量最小化进行优化
      • 能量函数公式
      • 3.1.3 通过对抗训练避免碰撞
    • 3.2 Arm Teleoperation: Human Body to Robot Arm Poses

论文链接:https://arxiv.org/abs/2202.10448
项目链接:https://robotic-telekinesis.github.io/
论文单位:CMU

摘要

  • 论文建立了一个系统,使任何人都能控制机器人的手和手臂,只需用自己的手示范动作。
  • 机器人通过一个单一的RGB摄像头观察人类操作员,并实时模仿他们的动作。
  • 人的手和机器人的手在形状、大小和关节结构上都不同,从一个未校准的相机进行这种转换是一个高度缺乏约束的问题。此外,重新定位的轨迹必须有效地执行物理机器人上的任务,这就要求它们在时间上是平滑的,并且没有自我碰撞。
  • 我们的关键观点是,虽然收集成对的人机通信数据非常昂贵,但互联网上包含大量丰富多样的人手视频。
  • 我们利用这些数据来训练一个系统,该系统可以理解人类的手,并将人类视频流重新定位为机器人的手臂轨迹,该轨迹平滑、快速、安全,并且在语义上与指导演示相似。
  • 我们证明,它使以前未经训练的人们在各种灵巧的操作任务上遥控机器人。
  • 我们的低成本、无手套、无标记的远程操作系统使机器人教学更容易实现,我们希望它能帮助机器人在现实世界中学会自主行动。

1. 简介

  • 几十年来,制造模仿人类行为的机器人一直是机器人研究的核心组成部分。
  • 这种范式被称为遥操作/远程操作,历史上用于使机器人执行人类不安全或不可能执行的任务,例如处理核材料或停用爆炸物。
  • 最近,远程操作已被用于使机器人自动化的任务,很容易为人类演示,但很难编程。
  • 例如,在工业机器人中,远程操作可以用来演示一个单一的轨迹(例如,从传送带上捡起一个盒子),机器人会过度适应这个轨迹,然后逐字重复几个月或几年。
  • 远程操作也可以作为收集大型演示数据集的一种手段,然后可以用来学习一种策略,该策略可以推广到未知环境中的新任务。
  • 本文专门研究了灵巧机器人的遥操作问题。虽然目前有许多很有前途的技术,如动觉控制(Kinesthetic Control),虚拟现实设备(Virtual Reality),触觉手套(haptic gloves)和动作捕捉(MoCap),但每一种都有一些缺点,妨碍了它的普遍采用。这些设置通常涉及昂贵的硬件和专业的工程,专家操作人员,或阻碍演示者的手的自然流体运动的设备。
  • 克服这些缺点的挑战随着要控制的机器人的复杂性呈指数增长。多指手远比双指手更难远程操作。
  • 尽管最近取得了进展,但为高自由度

你可能感兴趣的:(视觉遥操作)