深度图像计算三维点云

在PCL的库函数中是有关于深度图到点云数据之间的转化的函数,所以这里首先说清楚深度图像与点云之间的关系,

1.深度图像(depth image)也叫距离影像(range image),是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。获取方法有:激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。它直接反映了景物可见表面的几何形状。


2.点云:当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描,便会边扫描边记录到反射的激光点信息,由于扫描极为精细,则能够得到大量的激光点,因而就可形成激光点云。点云格式有*.ply ;*.pcd; *.txt等。点云的处理我们经常使用的开源库PCL,当然这里可以延伸一下,三维的CAD 文件数据也是可以填充点云形成不同角度的点云数据,这种CAD文件到点云之间的转化,经常用在binpicking,用于机械臂的抓取时,对模型点云生成各个角度的点云,以适应对不同场景中,种种姿态的匹配,

两者之间的关系:
深度图像经过坐标转换可以计算为点云数据,有规则及必要信息的点云数据也可以反算为深度图像数据。深度数据流所提供的图像帧中,每一个像素点代表的是在深度感应器的视野中,该特定的(x, y)坐标处物体到离摄像头平面最近的物体到该平面的距离。

对于深度图像主要集中在:深度图像的分割技术、深度图像的边缘检测技术、基于不同视点的多幅深度图像的配准技术、基于深度数据的三维重建技术、基于深度图像的三维目标识别技术、深度数据的多分辨率建模和几何压缩技术等等。在PCL中深度图像与点云最主要的区别在于,其近邻的检索方式不同,并且可以相互转换。

深度图像是物体的三维表示形式,一般通过立体照相机或者TOF照相机获取。如果具备照相机的内标定参数,可将深度图像转换为点云,所以以上的研究点也是点云的主要研究点

深度图转点云的计算过程主要是多视图几何的知识,其原理是根据内外参矩阵变换公式得到:

                                             深度图像计算三维点云_第1张图片

以上这个图是非常经典的针孔模型结构示意图,在相机标定这一章节都需要了解这个模型,具体的推导,可以百度相机标定的基本推导,我之前也写过,但是编辑的不太好看,,,

深度图像计算三维点云_第2张图片

其中u,v为图像坐标系下的任意坐标点。u0,v0分别为图像的中心坐标。xw,yw,zw表示世界坐标系下的三维坐标点。zc表示相机坐标的z轴值,即目标到相机的距离。R,T分别为

外参矩阵的3x3旋转矩阵和3x1平移矩阵。

 

对外参矩阵的设置:由于世界坐标原点和相机原点是重合的,即没有旋转和平移,所以

因为相机坐标系和世界坐标系的坐标原点重合,因此相机坐标和世界坐标下的同一个物体具有相同的深度,即zc=zw.于是公式可进一步简化为

 

从以上的变换矩阵公式,可以计算得到图像点[u,v]T 到世界坐标点[xw,yw,zw]T的变换公式:

 

 https://github.com/ros-perception/depthimage_to_laserscan

具体需要做实验说明

 

 关注微信公众号,加入群聊

深度图像计算三维点云_第3张图片

你可能感兴趣的:(深度图像计算三维点云)