遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定

目录

一、简介

二、环境版本

三、学习目标

四、知识储备

五、任务实施

六、任务拓展

七、课堂小结

八、课后练习


一、简介

大家好,欢迎关注遨博学院带来的系列技术分享文章(协作机器人ROS开发),在前面课程中我们讲解了机器人手眼标定原理相关知识,接下来我们来学习遨博E5机械臂与相机手眼标定。

遨博E5机械臂与相机手眼标定

二、环境版本

  • 主机系统版本:Windwos10 64位
  • 处理器型号:Intel-i7
  • 虚拟机版本:VMware Workstation 16 Pro
  • 虚拟机系统:Ubuntu 18.04.6 LTS
  • ROS版本:Melodic

三、学习目标

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第1张图片

四、知识储备

下面开始介绍本节内容的知识点:

首先学习相机标定板的分类及特点。

标定本质上是借助一个已知确定的空间关系(标定板),通过分析拍照的图片像素,逆向推出相机固有且真实的参数(内参)。标定板一般使用平面上的规则图案,主要由以下几种类型:棋盘格、对称圆形及非对称圆形网格、ArUco板和ChArUco板等。

(1)棋盘格chessboard,最常用的标定图案。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第2张图片

(2)圆形网格

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第3张图片

(3)ArUco  

 (4)ChArUco

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第4张图片

2.标定方式

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第5张图片

五、任务实施

本课程采用眼在手上的方式进行手眼标定,使用的工具为MoveIt! Calibration。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第6张图片

1.标定前硬件准备

双目相机法兰盘固定。法兰盘机械臂末端固定。将ChArUco标定板按100%比例A4纸打印。

2.标定工具包编译

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第7张图片 3.连接遨博E5机械臂和双目相机

 

4.手眼标定

按下示教器上的力控按钮,手动拖拽机械臂使相机视野能够照射到标定板。

(1)启动相机标定节点程序(robot_ip修改为实际机械臂IP地址)

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第8张图片

(2)标定组件Target选项卡配置  遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第9张图片

 在Target选项卡的Target Params部分,我们将使用默认的目标参数,标定板类型Target Type选择【HandEyeTarget/Charuco】,其他下列参数如图所示。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第10张图片

点击右侧的【Create Target】按钮生成标定板图像,之后点击【Save Target】按钮将其保存为图片文件,并通过A4纸(100%比例)打印。  遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第11张图片

(3)上下文配置

点击【Context】第二个选项卡,里面包含进行标定校准所需的几何信息。将【Sensor configuration】设置为“Eye-in-hand”。

【Sensor frame】选择为相机基坐标系“camera_link”。

【Object frame】是校准目标定义的坐标系,默认称为“handeye_target”。

【End-effector frame】是刚性连接到相机的机器人连杆,选择为“wrist3_Link”。

【Robot base frame】是校准目标静止的坐标系,选择为“base_link”。

 遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第12张图片

(4)添加相机视野(FOV)组件

在RViz中添加【MarkerArray】组件,并将其设置为监听“/rviz_visual_tools”主题(它可能不会立即出现)。

 遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第13张图片

 添加完成后,点开左上方HandEyeCalibration,找到下方的【Camera FOV Marker】将右侧“ON/OFF”选项取消选中后在次点击选中,会在机械臂模型窗口观察到相机视野。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第14张图片

(5)捕获校准数据集

【Calibrate】选项卡提供了收集数据集以及计算和导出校准的工具。

在“AX=XB 求解器”下拉列表中选择要使用的校准求解器。默认为Daniilidis求解器(在大多数情况下都是不错的选择)。

【Planning Group】为被记录的机械臂关节组。

 遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第15张图片

当标定板在相机视野中可见,并且坐标轴在标定板上呈现时,就可以开始进行第一个校准样本采集。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第16张图片

(6)保存关节记录数据

当手动采样时,会记录机器人关节状态,以便将来可以再次使用相同的位姿进行重新标定。记录状态的数量显示在面板底部进度条的右侧,可以使用【Settings】部分中的【Save joint states】按钮将状态保存到文件中。

 遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第17张图片

(7)计算并保存标定结果

收集多个样本后,将自动执行标定,并在每次添加新样本时更新。标定会随着更多的样本而显著改善,并且通常会在大约12或15个样本后趋于平稳。点击【Save camera pose】导出校准结果。

 遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第18张图片

这将创建一个带有静态变换发布者的launch文件,其中包含校准后的相机变换。打开该标定launch文件,内容大致如下。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第19张图片

六、任务拓展

将相机独立于机器人固定至支架上,使用MoveIt!标定工具进行眼在手外标定。

 遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第20张图片

七、课堂小结

1.在Ubuntu18.04系统下使用的OpenCV版本为3.2,其中的ArUco库有Bug,建议不要使用ArUco类型的标定板进行标定。

2.标定过程中需保证标定板位置固定不动,且相机视野能够检测到标定板上的坐标轴,否则会引入异常点,导致整体标定误差增大。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第21张图片

八、课后练习

1.使用RealSense双目相机固定至遨博E5机械臂末端,进行手眼标定。

2.获取贴有ArUco码物体相对机械臂基座的位姿转换数据,测试标定参数精度。

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定_第22张图片

在接下来的ROS课程中,我们会讲解遨博E5机械臂语音交互控制,欢迎持续关注。 

你可能感兴趣的:(遨博协作机器人ROS开发,机器人)