机器人抓取 机器人物体三维定位 三维匹配

    最近在看“机器人物体抓取”的解决方案，很多机器视觉库都提供类似的解决方案，大多采用的是在二维图像上的匹配。但是这种方法对光照和物体的摆放很敏感。随着三维技术的成熟，越来越多的研究着在考虑使用三维匹配的方法，其中一种就是基于三维点云和法线的方法。为此我也迫不及待的验证一下这种方法：

                                                                                  

    

第一步：使用基于结构光的方法获取到物体的被定位物体的三维点云

                                                                                

第二步：使用一个基准模型，这个基准模型可以是CAD文件、或者扫描之后的文件，格式可以是stl,obj,ply,等，主要是三维点和法线数据。

第三步：有了基准模型和扫描出来的待定位的三维点，其原理就是使用模型上面的三维点的特征在扫描出来的点云中去匹配，最终得到

               模型到点云的三维变换矩阵[R,T]。

第四步：根据上面计算出来的[R,T],可以将模型转换到点云上去验证是否定位正确，如下图所示，蓝色表示变换到点云上的模型。

                                                                              

关于最后位置的确定：最后返给机器人的应该是一个定位点（X,Y,Z）和一个法向量（nx,ny,nz）,定位点的计算，可以事先在模型上确定一个点和法线，然后将这个点和法线使用计算的[R,T]转换到点云上，至此点云匹配定位结束了，后面可以交给机器人来处理，至于机器人和三维点云直接的坐标转换关系就不是很难的问题了。

问题交流：[email protected]