视觉 SLAM 十四讲 —— 第五讲 相机与图像

视觉 SLAM 十四讲 —— 第五讲 相机与图像

前面两讲主要介绍了“机器人如何表示自身位姿”，本讲将讨论“机器人如何观测外部世界”，也就是观测方程部分。主要内容包括

1. 理解针孔相机的模型，内参与径向畸变参数
2. 理解一个空间点是如何投影到相机成像平面的
3. 学会基本的摄像头标定方法

针孔相机模型

这里着重介绍以下相机内参数方程，它可以基于基础的小孔成像公式推导得到。

其中，为在成像平面上所成像的坐标值， 为相机坐标系下物体所在位置的坐标值。 为相机坐标系原点与成像坐标系原点的偏差。，其中  为实际投影距离与对应像素点之间的缩放比， 为相机焦距。同理，，其中  为实际投影距离与对应像素点之间的缩放比。

而中间的矩阵  被称为相机的内参数矩阵。通常认为，相机在出厂之后内参就是固定的，不会在使用过程中变化。

而成像位置与世界坐标值的对应关系如下

其中直接简单的增加了第三讲中介绍的相机坐标系与世界坐标系的转换，其中  和  分别表示旋转矩阵和变换矩阵。而  和  又被称为相机的外参数。

后面一个等式其实隐含了一次齐次坐标到非齐次坐标的变换。为此，可以人为引入一个中间变量 

此时，对于这个三维坐标，我们还可以按照齐次坐标的方式，对最后一维进行归一化，得到 。而  通常被称为归一化坐标，其位于相机前方  处的平面上。而  的平面又被称为归一化平面。

畸变

为了获得好的成像效果，通常会在相机的前方加上透镜。透镜的加入对成像过程中光线的传播会产生新的影响：

1、透镜自身的形状对光线传播的影响。在针孔模型中，一条直线投影到像素平面上将不再是一条直线。同时，由于这种现象越靠近图像边缘越明显，且实际加工制作的透镜往往是中心对称的，因此这种畸变被称为径向畸变。

桶形畸变是由于图像放大率随着与光轴之间的距离增加而减小，而枕形畸变则恰好相反。

2、在机械组装过程中，透镜和成像平面无可能完全平行。这种畸变被称为切向畸变。

为了对畸变进行矫正，分别对径向畸变和切向畸变进行如下建模

其中红框中为径向畸变矫正部分，蓝框中为切向畸变矫正部分。到此单目成像过程如下

双目相机模型

上图中将成像结果等效到了镜头之前，其结果与实际是等价的。根据上图可以很容易得到以下成像关系 

                 

其中  为左右光圈中心的距离，称为双目相机的基线；  为左右成像的横坐标只差，称为视差（Disparity）。

根据上式，我们可以根据视差估计一个像素与相机的距离。同时，由于视察与距离成反比，即视差越大距离越小，而由于成像的最小视差为一个像素点的距离，因此双目的深度存在一个理论上的最大值，由  决定。当基线长度越大，焦距越长，双目能够测量的最大距离就越大。

但想要获知左眼图像某个像素在右眼图像中的位置却十分困难，计算量和精度都是需要解决的问题。同时，只有在图像纹理变化丰富的地方才能计算视差。

RGB-D 相机模型

相比双目相机通过视差来计算深度的方式，RGB-D 相机的做法更加主动，它通过发送和接受一束特殊的光线（通常为红外线）来主动测量每个像素点的距离。RGB-D 相机根据测距的原理又分为以下两种

1、红外结构光（Structured Light）：相机根据返回的结构光图案来计算物体与自身的距离

2、飞行时间法（Time of Flight, ToF）：相机向目标发射脉冲光，然后根据发送与接受到光的时间差来计算距离。

在测量完深度之后，RGB-D 相机通常自己将完成深度与彩色图像像素之间的配对，输出一一对应的彩色图像和深度图。

不过由于 RGB-D 相机通过红外线进行工作，因此容易受到户外光线的影响，因此只能在室内工作。且对于复杂红外线环境、透明材料，RGB-D 相机都无法正常工作。