RGB-D传感器的校准和配准论文笔记

1、摘要
这是一种集成方法，用于将颜色和深度（RGBD）传感器校准和配准到共同坐标系中，而无需明确识别相机的内外参数。 该方法采用棋盘格追踪，在彩色和深度相机空间以及世界空间中建立多个位置之间的对应关系。 使用这些对应关系根据RGBD传感器构建单个校准和配准体积，其直接将原始深度传感器值映射到联合坐标系及其相关颜色值。 我们的评估了显示精确度，在约为1.5 m x 1.8 m x 1.5 m空间，平均3D误差低于3 mm，平均纹理偏差小于0.5像素。
RGBD传感器的精确校准是一项具有挑战性的任务。在3D远程呈现系统中，必须将多个传感器精确地配准到应用世界坐标系，并且它们必须在3D空间中匹配[5,2]。
该方法将原始深度传感器值直接映射到世界空间中的3D位置以及相应的彩色摄像机图像的相应纹理坐标。跟踪的棋盘放置在我们的捕获体积中的不同位置，以建立RGBD传感器的原始深度值与世界空间中的相关位置之间的对应关系。深度相机的棋盘红外图像还用于建立原始深度值与相关彩色相机的纹理坐标之间的对应关系。将这些对应关系输入到3D查找表中，由此通过散乱数据插值来填充空单元。
对每个RGBD传感器执行该过程一次。在运行期间，可以在CPU或GPU上使用此3D查找表，以将传感器的原始深度值映射到世界空间中的3D位置以及彩色图像的对应坐标。
文中方法的主要特点是：
•原始深度传感器值到世界空间中的位置以及相关彩色图像中的纹理坐标的低延迟单步映射，
•不依赖任何特定镜头或相机型号
•平均3D误差低于3 mm的精度和
平均纹理偏差小于0.5像素。
使用过的Kinect需要进行校准，以便在数学上描述其属性并记录深度和彩色图像。在文献中，存在几种用于校准RGB-D相机的方法
我们使用了Bouguet的工具箱[4]。
因此，我们首先使用彩色和红外图像对彩色和深度相机进行单独的内在校准。结果我们获得了两个相机的焦距（fx，fy）和相机中心（cx，cy）。（ We decided to estimate distortion coefficients r1, r2, r3, t1, t2 for the color camera only, since undistortion of depth images is not trivial. However, one can compute and apply his own undistortion with the provided data. ）我们决定仅为彩色摄像机估计畸变系数r1，r2，r3（径向畸变系数），t1，t2（切向畸变系数），因为深度图像的不失真并非无足轻重。但是，可以使用提供的数据计算和应用自己的不失真。在下一步中，我们对两个相机进行外部校准，得到单应性Hd2c，其将深度图像转移到彩色图像的坐标中。结果，相应的颜色和深度像素重合。这是一个优化问题，其中外部和内部参数一起估计[4]。所用Kinect v2的最终内在参数如表4所示。