【MachineVision】Hand-Eye-Calibration

1. 眼在手上

标定过程

标定板放置在固定位置，机器人变换不同的姿态，相机获取不同姿态下的标定板图像
目标
上图中描述了闭环的坐标系空间关系，包含以下部分：

• ${}^{base}{H}_{tool}$​​​​​ 机器人末端的工具坐标系到机器人基坐标系的变换矩阵​。
  可变量
• ${}^{cam}{H}_{tool}$ 机器人末端的工具坐标系到相机坐标系的变换矩阵。
  不变量
• ${}^{cam}{H}_{cal}$​​​​​ 标定板坐标系到相机坐标系的变换矩阵。
  可变量
• ${}^{base}{H}_{cal}$​​ 标定板坐标系到机器人基坐标系的变换矩阵。
  不变量​

闭环关系
$$\begin{array}{r}{}^{tool}{H}_{cam}{=}^{tool}{H}_{base}{\ast }^{base}{H}_{cal}{\ast }^{cal}{H}_{cam}\end{array}$$

机器人每移动一个位姿，就能得到一个上述的闭环关系，又由于${}^{base}{H}_{cal}$​是不变量，可在多个姿态下得到的关系中任选两个将其消除。这里选择相邻的两次。
$$\begin{array}{rl}{}^{base}{H}_{cal}& {=}^{tool}{H}_{base}^{-1}{\ast }^{tool}{H}_{cam}{\ast }^{cal}{H}_{cam}^{-1}\\ & {=}^{base}{H}_{tool}{\ast }^{tool}{H}_{cam}{\ast }^{cam}{H}_{cal}\end{array}$$
相邻两次对${}^{base}{H}_{cal}$​进行消除：
$${}^{base}{H}_{tool}^0\ast {}^{tool}{H}_{cam}^0{\ast }^{cam}{H}_{cal}^0{=}^{base}{H}_{tool}^1\ast {}^{tool}{H}_{cam}^1{\ast }^{cam}{H}_{cal}^1$$
由于${}^{tool}{H}_{cam}$​​是不变的
$${}^{tool}{H}_{cam}^0{=}^{tool}{H}_{cam}^1{=}^{tool}{H}_{cam}$$

$${}^{base}{H}_{tool}^0\ast {}^{tool}{H}_{cam}{\ast }^{cam}{H}_{cal}^0{=}^{base}{H}_{tool}^1\ast {}^{tool}{H}_{cam}{\ast }^{cam}{H}_{cal}^1$$

等式两边分别左乘${{}^{base}{H}_{tool}^1}^{-1}$与右乘${{}^{cam}{H}_{cal}^0}^{-1}$​
$${{}^{base}{H}_{tool}^1}^{-1}{\ast }^{base}{H}_{tool}^0\ast {}^{tool}{H}_{cam}={}^{tool}{H}_{cam}{\ast }^{cam}{H}_{cal}^1\ast {{}^{cam}{H}_{cal}^0}^{-1}$$
转换成
$$AX=XB$$
其中：
$$\begin{array}{rl}A& ={{}^{base}{H}_{tool}^1}^{-1}{\ast }^{base}{H}_{tool}^0\\ B& {=}^{cam}{H}_{cal}^1\ast {{}^{cam}{H}_{cal}^0}^{-1}\\ X& {=}^{tool}{H}_{cam}\end{array}$$

2. 眼在手外

标定过程

相机安装在机械手外的固定位置，标定板安装在机器人末端位置，标定过程中机器人变换不同的位姿，相机分别拍摄在不同位姿下的标定板图像
目标
在下图中描述了闭环的坐标系空间关系，包含以下部分：

• ${}^{base}{H}_{tool}$​​​​​​ 机器人末端的工具坐标系到机器人基坐标系的变换矩阵​。
  可变量
• ${}^{tool}{H}_{cal}$​​ 标定板坐标系到机器人末端的工具坐标系的变换矩阵。
  不变量​
• ${}^{cal}{H}_{cam}$​​​​​​​​ 相机坐标系到标定板坐标系的变换矩阵。
  可变量
• ${}^{cam}{H}_{base}$​​​​​​​​ 机器人基坐标系到相机坐标系的变换矩阵。
  不变量

闭环关系
$${}^{base}{H}_{cam}{=}^{base}{H}_{tool}{\ast }^{tool}{H}_{cal}{\ast }^{cal}{H}_{cam}$$

由于$ ^{tool}H_{cal}$是不变量，可通过前后两次姿态的结果对其进行消除。
$${}^{tool}{H}_{cal}{=}^{base}{H}_{tool}^{-1}{\ast }^{base}{H}_{cam}{\ast }^{cal}{H}_{cam}^{-1}$$
等价于
$${}^{tool}{H}_{cal}{=}^{tool}{H}_{base}{\ast }^{base}{H}_{cam}{\ast }^{cam}{H}_{cal}$$
相邻两次消除${}^{tool}{H}_{cal}$
$${}^{tool}{H}_{base}^0\ast {}^{base}{H}_{cam}^0{\ast }^{cam}{H}_{cal}^0{=}^{tool}{H}_{base}^1\ast {}^{base}{H}_{cam}^1{\ast }^{cam}{H}_{cal}^1$$

等价于
$${}^{tool}{H}_{base}^0\ast {}^{base}{H}_{cam}{\ast }^{cam}{H}_{cal}^0{=}^{tool}{H}_{base}^1\ast {}^{base}{H}_{cam}{\ast }^{cam}{H}_{cal}^1$$
等价于
$${{}^{tool}{H}_{base}^1}^{-1}{\ast }^{tool}{H}_{base}^0\ast {}^{base}{H}_{cam}={}^{base}{H}_{cam}{\ast }^{cam}{H}_{cal}^1\ast {{}^{cam}{H}_{cal}^0}^{-1}$$
等价于
$$AX=XB$$
其中
$$\begin{array}{rl}A& ={{}^{tool}{H}_{base}^1}^{-1}{\ast }^{tool}{H}_{base}^0\\ B& {=}^{cam}{H}_{cal}^1\ast {{}^{cam}{H}_{cal}^0}^{-1}\\ X& {=}^{base}{H}_{cam}\end{array}$$

3. OpenCV

根据以上分析，无论是眼在手上还是眼在手外，都最终转换成对方程AX=BX的求解。OpenCV提供了手眼标定求解的算子calibrateHandEye。

void
cv::calibrateHandEye(InputArrayOfArrays 	R_gripper2base,
                     InputArrayOfArrays 	t_gripper2base,
                     InputArrayOfArrays 	R_target2cam,
                     InputArrayOfArrays 	t_target2cam,
                     OutputArray 	        R_cam2gripper,
                     OutputArray 	        t_cam2gripper,
                     HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI)	

• 眼在手上

  这种情况下，算子参数名称的描述与真实输入相对应。

  void
  cv::calibrateHandEye(InputArrayOfArrays 	R_gripper2base, // <=> R_tool2base
                       InputArrayOfArrays 	t_gripper2base, // <=> T_tool2base
                       InputArrayOfArrays 	R_target2cam,	// <=> R_cal2cam
                       InputArrayOfArrays 	t_target2cam,	// <=> T_cam2cam
                       OutputArray 	        R_cam2gripper,	// <=> R_cam2tool
                       OutputArray 	        t_cam2gripper, 	// <=> T_cam2tool
                       HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI)	
  

$${{}^{base}{H}_{tool}^1}^{-1}{\ast }^{base}{H}_{tool}^0\ast {}^{tool}{H}_{cam}={}^{tool}{H}_{cam}{\ast }^{cam}{H}_{cal}^1\ast {{}^{cam}{H}_{cal}^0}^{-1}$$

• 眼在手外

  这种情况下，算子参数名称的描述与真实输入有所不同

  void
  cv::calibrateHandEye(InputArrayOfArrays 	R_gripper2base,	// <=> R_base2tool
                       InputArrayOfArrays 	t_gripper2base,	// <=> T_base2tool
                       InputArrayOfArrays 	R_target2cam,	// <=> R_cal2cam
                       InputArrayOfArrays 	t_target2cam,	// <=> T_cam2cam
                       OutputArray 	        R_cam2gripper,	// <=> R_cam2base
                       OutputArray 	        t_cam2gripper,	// <=> T_cam2base
                       HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI)	
  

$${{}^{tool}{H}_{base}^1}^{-1}{\ast }^{tool}{H}_{base}^0\ast {}^{base}{H}_{cam}={}^{base}{H}_{cam}{\ast }^{cam}{H}_{cal}^1\ast {{}^{cam}{H}_{cal}^0}^{-1}$$