视觉SLAM十四讲笔记四(第五讲)

1、相机模型

针孔模型:将三维坐标点映射到二维图像平面的几何模型

视觉SLAM十四讲笔记四(第五讲)_第1张图片

现在来对这个简单的针孔模型进行几何建模。设 O − x − y − z 为相机坐标系,我们让 z 轴指向相机前方,x 向右,y 向下。O 为摄像机的光心,也是针孔模型中的针孔。现实世界的空间点 P,经过小孔 O 投影之后,落在物理成像平面 O′ − x ′ − y ′ 上,成像点为 P ′。设 P 的坐标为 [X, Y, Z] T,P ′ 为 [X′ , Y ′ , Z′ ] T,并且设物理成像平面到小孔的 距离为 f(焦距)。那么,根据三角形相似关系,有:

视觉SLAM十四讲笔记四(第五讲)_第2张图片

其中负号表示成的像是倒立的。为了简化模型,我们把可以成像平面对称到相机前方,和 三维空间点一起放在摄像机坐标系的同一侧:

视觉SLAM十四讲笔记四(第五讲)_第3张图片

上式描述了点 P 和它的像之间的空间关系。不过,在相机中,我们最终获得的是 一个个的像素,所以还需将相转换为像素,我们设在物理成像平面上固定着一个像素平面 o − u − v。我们 在像素平面得到了 P ′ 的像素坐标:[u, v] T。

像素坐标系:原点 o ′ 位于图像的左上角,u 轴向右与 x 轴平行,v 轴向下与 y 轴平行。像素坐标系与成像平面之间,相差了一个缩放和一个原点的平移。我 们设像素坐标在 u 轴上缩放了 α 倍,在 v 上缩放了 β 倍。同时,原点平移了 [cx, cy] T。那 么,P ′ 的坐标与像素坐标 [u, v] T 的关系为:

视觉SLAM十四讲笔记四(第五讲)_第4张图片

K: 相机内参数矩阵(内参一般在出厂之后是固定的,,若不知道内参,则需要对其进行标定=>张正友标定法)

        除了内参之外,自然还有相对的外参。考虑到在式(5.6)中,我们使用的是 P 在相机 坐标系下的坐标。由于相机在运动,所以 P 的相机坐标应该是它的世界坐标(记为 Pw), 根据相机的当前位姿,变换到相机坐标系下的结果。相机的位姿由它的旋转矩阵 R 和平移向量 t 来描述。那么有:

视觉SLAM十四讲笔记四(第五讲)_第5张图片

(世界坐标系*R+t)=相机坐标系,相机坐标系左乘相机内参=像素坐标

外参数: 相机的位姿,R,t(外参会随着相机运动发生改变,同时也是 SLAM 中待估计的目标,代表着机器人的轨迹

由上式看出像素坐标的Z轴背归一化了,说明点的深度在投影中被丢失了,所以单目无法得到像素的深度值。

 2、畸变模型

为了获得更好的成像效果,往往在相机的前面加上透镜。

径向畸变:由透镜形状引起的畸变。(桶形畸变,枕形畸变)如下图:

视觉SLAM十四讲笔记四(第五讲)_第6张图片

 

切向畸变:相机的组装过程中,不能使透镜和成像平面严格平行

畸变只需了解即可,在下面给出畸变矫正的公式,相详细了解的读者可自行百度

视觉SLAM十四讲笔记四(第五讲)_第7张图片

 3、双目相机:

视觉SLAM十四讲笔记四(第五讲)_第8张图片

 

简单介绍,相深入了解可自行百度

双目相机计算深度原理:通过同步采集左右相机的图像,计算图像间视差,来估计每一个像素的深度。

双目相机一般由左眼和右眼两个水平放置的相机组成。在左右双目的相机中,我们可以把两个相机都看作针孔相机。它们是水平放置的,意味两个相机的光圈中心都位于 x 轴上。它们的距离称 为双目相机的基线(Baseline, 记作 b),是双目的重要参数。

视差:左右图的横坐标之差。根据视差,我们可以估计一 个像素离相机的距离。视差与距离成反比:视差越大,距离越近。

基线:当基线越长 时,双目最大能测到的距离就会变远;反之,小型双目器件则只能测量很近的距离。

4、RGB-D相机模型

相较于双目计算深度的方式,RGB-D更主动,他能够主动测量每个像素的深度。

目前的 RGB-D 相机按原理可分为两大类:

1、通过红外结构光(Structured Light)来测量像素距离(相机需要向探测目标发射一束光线,相机根据返回的结构光图案,计算物体离自身的距离)

2、通过飞行时间法(Time-of-flight, ToF)原理测量像素距离(相机向目标发射脉冲光,然后根据发送到返回之间的光束飞行时间,确定物体离自身的距离。ToF 相机则可以获得整个图像的像素深度)

在测量深度之后,RGB-D 相机通常按照生产时的各个相机摆放位置,自己完成深度 与彩色图像素之间的配对,输出一一对应的彩色图和深度图。我们可以在同一个图像位置, 读取到色彩信息和距离信息,计算像素的 3D 相机坐标,生成点云(Point Cloud)。

缺点:受光干扰,成本,功耗

你可能感兴趣的:(视觉SLAM,计算机视觉,视觉检测)