Learning hand-eye coordinationfor robotic grasping with deep learning and large-scale data collecti

题目：基于深度学习的机器人抓取手眼协调学习 和大规模数据采集

摘要：我们描述了一种基于学习的手眼协调方法，用 于机器人从单目图像抓取。为了学习手眼协调 抓取，我们训练了一个大型卷积神经网络来预 测抓取器的任务空间运动成功抓取的概率，只 使用单目摄像机图像，独立于摄像机标定或当 前机器人姿态。这就需要网络去观察抓爪与场 景中物体之间的空间关系，从而学习手眼协调 然后利用该网络对夹持器进行实时伺服控制， 实现成功的抓取。为了训练我们的网络，我们 在两个月的时间里收集了超过 80 万次的抓取 尝试，在任何给定的时间使用 6 到 14 个机器人 操纵器，摄像机的位置和硬件都有所不同。实 验结果表明，该方法能够实现有效的实时控制 能够成功地抓取新目标，并通过连续伺服纠正 错误

一、简介

本文中，我们提出了一种基于学习的手眼协调方法， 我们在一个机器人抓取任务上进行了演示。我们的方法 是数据驱动和以目标为中心的:我们的方法学习伺服一 个机器人抓手通过端到端训练，直接从图像像素到任务空间的夹持器运动， 很可能产生成功的抓取姿势。通过不断地重新计算最有希望的 运动指令，我们的方法不断地整合来自环境的感官线索，使其 能够对扰动做出反应，并调整抓取，以最大限度地提高成功的 概率。此外，电机指令是在机器人框架内发出的，这是模型在 测试时所不知道的。这意味着该模型不需要根据末端执行器对 相机进行精确校准，而是使用视觉线索来确定场景中夹持器和 可抓取物体之间的空间关系。