机器人抓取中物体3D定位算法介绍

引言

常见的目标检测方法能够获得物体的2D包围盒（Bounding Box），然而这对于机器人抓取任务是不够的。机器人抓取需要知道物体的准确朝向，进而确定抓取点。针对纹理丰富的物体，可以使用SIFT等特征点与模板图像匹配进行定位；对于弱纹理或无纹理物体，可以使用稳定的梯度或者深度图法向进行匹配，进而恢复位姿；一些基于parts进行投票的方法也取得了很好的效果；然而，这些方法对于光照和杂乱场景效果很不好；因此，在实际应用中，仍然主要采用基于Depth图像的方法，先进行全局配准，再基于ICP等方法细配准。

配准方法介绍

当两片点云已有一个较好的初始姿态（close alignment）时，可以不使用全局配准，只使用局部配准（Local Registration）方法refine姿态，局部配准方法包括ICP（point-to-point，point-to-plane），Sparse-ICP，以及其他变种；

当两片点云处于任意姿态（in arbitrary initial poses），需要使用全局配准（Global Registration）方法；最早可以采用RANSAC方法随机选择3对点计算变换T，但复杂度最高O(n3)；其后，一类方法（4PCS等）使用各种优化方法降低RANSAC的复杂度；一类方法根据点云的局部特征描述符（SpinImage，FPFH，SHOT等）寻找点与点之间的对应得到T；全局配准方法可以使用局部配准方法优化结果；

最新论文中采用方法

在AmazonPickChallenge2016冠军的论文《2016-Team Delft’s》中，他们使用了Super 4PCS《2014-Super 4PCS》，这是进行全局配准中较好的方法，与ICP，Sparse-ICP，4PCS等方法相比，在精度、速度和鲁棒性上都有极大提升；4PCS使用共面4点集合表示一个候选匹配，Super 4PCS改进了4PCS，首先解决了初始配对选择问题，并且使用了一种索引数据结构有效去除了冗余配对，速度得到了极大提升；

在2016年AmazonPickChallenge的三四名论文《2017-Multi-view Self-supervised》中使用的配准方法为ICP，不过他们融合了多个细节：

• 多视角采集：由于相机和触手紧密连接，单个视角下触手的可操作范围有限，因此通过借助机械臂精确姿态融合多个视角下的数据，可以得到相对全局的画面，增大了可操作范围；

• 去除噪声：噪声是由于传感器误差，或者由于分割引入；首先，去除传感器噪声带来的空间离群点，即去除所有距k最近邻点距离大于一定值的点；其次，消除分割带来的噪声(主要在边界上)，去除距其他已分割物体较近的点；最后，根据PCA计算出主轴，得到最大连续点集合，去除与该集合不相交的点；

• 去除重复物体：已知具有N个物体实例，对于分割至同一label下的点云，进行k-means聚类N簇，每一簇单独处理即可；

• 对数据进行均匀采样：垂直于传感器光轴的方向扫描的点数目多，平行的点少，这对于ICP有极大影响，因此，可以对3D空间进行均匀采样，使3D点均匀分布；

• 位姿初始化：ICP对于初始位姿敏感，PCA能够给出初始物体朝向的近似；同样可以使用点云的重心作为物体的几何重心，但是，由于观测的点云只是部分数据，这两个中心具有偏差。因此，他们将初始位置沿光轴方向平移半个物体包围盒长度，这种操作实测后非常有效；

• 由粗到细ICP：设置ICP中的内点阈值，首先设置90%的内点阈值，能够将完整模型向部分视角的正确点云部分更接近；其次设置较低的内点阈值45%，忽略掉点云的噪声部分，得到一个更精确的阈值；

Seg-ICP[2017-SegICP] 提出了一种Multi-Hypothesis Object Pose Estimation方法，能够实时精确估计物体的姿态；初始位姿获取部分能够寻找到最佳的对齐位置以及模型的裁切部分。首先，通过在多个方位和倾斜角渲染物体的可见部分，只保留前面得到多个候选的裁切点云；其次，每一个候选的裁切点云在场景物体部分点云的中值点进行初始化，这样能有效避免ICP陷入错误的局部最优；最后，提出一个model-to-scene对齐度量作用于所有候选裁切点云上，选择具有最高对齐评分的裁切点云作为最终结果；

2017年Princeton团队又提出了基于深度学习特征描述符的方法[2017-3DMatch]，该特征描述符吊打了之前手动设计的描述符，在APC配准任务上，比《2017-Multi-view Self-supervised》效果又得到了提升；文中也提到了基于SpinImages、FPFH的方法与《2017-Multi-view Self-supervised》效果接近；

总结

不使用深度学习的方法中，可测试方法包括Super 4PCS，《2017-Multi-view Self-supervised》中ICP方法，SegICP中方法，SpinImages，FPFH等。使用深度学习的方法可以采用[2017-3DMatch]方法。

参考文献

2014-Super 4PCS Fast Global Pointcloud Registration via Smart Indexing

2016-Team Delft’s Robot Winner of the Amazon Picking Challenge 2016

2017-SegICP Integrated Deep Semantic Segmentation and Pose Estimation

2017-Multi-view Self-supervised Deep Learning for 6D Pose Estimation in the Amazon Picking Challenge

2017-3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions