抓取检测之五维矩形抓取框

来源

@inproceedings{inproceedings,
author = {Jiang, Yun and Moseson, Stephen and Saxena, Ashutosh},
year = {2011},
month = {05},
pages = {3304-3311},
title = {Efficient grasping from RGBD images: Learning using a new rectangle representation},
journal = {Proceedings - IEEE International Conference on Robotics and Automation},
doi = {10.1109/ICRA.2011.5980145}
}

有向抓取框

抓取器（灵巧手）要想抓取物体，需要计算抓取位姿：最终抓取器闭合处的3维坐标xyz、3维方向rpy、抓取器张开宽度w。

为了从RGB图和深度图中计算到上述7个数，需要建立抓取框模型，即本文的有向抓取框，如下图：

                                                

抓取框中所有参数的单位是像素。左图中的(r,c)为抓取框的左上角坐标，m为夹爪可放置的长度，n为抓取器张开的宽度，θ是夹持器平面朝向与相机水平轴的夹角。基于有向抓取框的抓取检测大多是通过深度学习建立从rgb图或深度图到上述抓取框各参数的模型。

通过有向抓取框恢复出抓取位姿

                                                  

抓取框中心点p的二维坐标加上深度值可计算出3维坐标：夹持器沿中心点p的法线方向（蓝色线）接近待抓取目标，夹持器平面法线与相机水平轴相差θ角（红色线），夹持器闭合方向与其余两条轴构成右手坐标系（绿色线）。