物体6D位姿估计方法总结

物体6D位姿估计方法总结

在抓取中，6D物体位姿常常是被需要的，能够帮助机器人获得目标物体的位置和方位。
方法分类：
①. 基于对应的方法
找到输入数据与存在的完整3D物体模型之间的对应关系。有两种实现手段，一种是基于2D图像，找到2D点与3D点的对应关系，利用PnP方法估计物体6D位姿。另一种是基于3D点云方法，找到3D点与3D点的对应关系。
基于2D图像往往需要物体必须具有丰富的纹理。利用3D模型从各个角度获得渲染的2D图像，这里面就将2D点与3D点之间对应起来了。在将观察的2D图像与渲染的2D图像中的特征点（提取+描述）匹配上即可建立2D与3D之间的关系。特征描述子可以人为构建，也可以用CNN学习。
基于3D点云可以利用传统的方法提取特征点建立描述子，也可以用深度学习方法提取特征点建立描述子，然后找到3D特征点与3D模型中的对应关系。3D点云来自深度图像。3D几何描述子用于匹配能够消除纹理的影响。
②. 基于模板匹配的方法
建立具有真实6D位姿的模板库，寻找与图像最相近的模板完成位姿的匹配。因此此种方法实质是图像检索问题。有两种实现手段，一种是基于2D图像，找到与观察图像最接近的模板图像。另一种是基于3D点云，给观察的部分3D点云找到与完整的模板3D点云最佳匹配位姿。
基于2D图像此种方法主要适用于纹理少或者无纹理的物体（对应的方法难以处理）。传统方法建立的模板库是RGB-D图像，观察图像也是RGB-D图像。基于学习的方法利用带标签的图像数据训练网络，相当于从模板图像种学习位姿估计方法，然后用来预测观察图像种目标的位姿。
基于3D点云传统的方法给观察的部分3D点云找到与完整的模板3D点云最佳匹配位姿，全局回归方法比较耗时，部分回归方法之后利用ICP来微调结果。利用深度学习网络完成部分归回任务是一种有效的方法。提取具有代表性和区分性的特征，然后回归点云对之间的相对6-D位姿。
③. 基于投票的方法
基于投票方法分为直接投票法和非直接投票法。非直接投票法从每个像素或者3D点投票选出一些特征点用于2D-3D对齐或者3D-3D对齐。直接投票法是每个像素或3D点投票为特定的6D对象坐标或姿势。总结两种方法的区别在于投票之后的处理方法不同，投票只是选出一些有用特征的方法用于寻找对应或者估计出一些6-D位姿用于模板匹配。