双目视觉——原理简介

参考博客：

• 基于OpenCV的双目测距：https://blog.csdn.net/qq_15947787/article/details/53366592
• 相机标定的原理和步骤：https://blog.csdn.net/lql0716/article/details/71973318?locationNum=8&fps=1
• 坐标系转换过程解析：https://blog.csdn.net/wangxiaokun671903/article/details/37966891

---

1 摄像机成像原理

                                                                    图1 小孔成像原理

在计算机视觉中，摄像机成像模型解决的是将三维场景中的坐标与摄像机得到的图像的二维坐标联系起来。常用的摄像机成像模型有三种：小孔成像模型，正交投影模型，拟透视投影模型。其中，用的最多的成像模型还是小孔成像模型。

在小孔成像模型中，将光心当做小孔，并假设光线满足直线传播的条件。在三维场景中的P点，经过光心在像平面上投影成倒像p点。显然，小孔成像模型主要由光心，光轴，成像平面三个部分组成。但是，在实际的环境中，由于小孔的透光量非常小，在成像平面形成清晰地像需要较长的时间曝光，所以实际的摄像机（如CCD摄像机）的光学系统大多是由透镜组成。这种摄像机的成像原理与小孔成像模型相似。

                            图2 针孔成像模型 

如图，空间任意一点P与其图像点p之间的关系，P与相机光心o的连线为oP，oP与像面的交点p即为空间点P在图像平面上的投影。 该过程为透视投影，矩阵表示如下：

其中，s为比例因子（s不为0），f为有效焦距（光心到图像平面的距离），是空间点P在相机坐标系oxyz中的齐次坐标，是像点p在图像坐标系OXY中的齐次坐标。

2 坐标系转换原理

                                                        图3 摄像机成像模型中坐标的转换关系

2.1 世界坐标（）转换成摄像机坐标（）

由于摄像机与被摄物体可以放置在环境中任意位置，这样就需要在环境中建立一个坐标系，来表示摄像机和被摄物体的位置，这个坐标系就成为世界坐标系。（图3中，）

以摄像机光心为原点，光轴为Z轴，建立的直角坐标系即为摄像机坐标系。（图3中，）

摄像机坐标与世界坐标的转换可以通过旋转矩阵R和一个平移向量t完成，具体如下： 

齐次坐标表示为： 

其中，旋转矩阵R为3X3的单位正交矩阵，其矩阵元素满足： 

2.2 摄像机坐标（）转换成图像物理坐标（）

图像物理坐标系是一个二维坐标，它的原点是摄像机光轴与成像平面的交点，即光点，x轴与轴平行，y轴与轴平行。在图3中，为摄像机的焦距f，根据相似三角形的原理，可以轻松的得到摄像机坐标投影到图像物理坐标的转换公式：

齐次坐标与矩阵形式表示为： 

2.3 图像物理坐标（）转换成图像像素坐标（）

                                   图4 像素坐标与物理坐标

摄像机拍摄的图像在计算机中存储是以MxN矩阵的形式进行存储，其中一个单元称之为像素。显然，在图像上定义的图像像素坐标系是一个二直角坐标系，如图4所示。一般情况下，图像像素坐标系的原点取图像的左上角，u轴与图像物理坐标系的x轴平行，v轴与图像物理坐标系y轴平行。在图像像素坐标系中，一点的坐标表示他的列数和行数，其单位为像素。要知道其图像物理坐标必须需要每个像素在u和v方向物理长度k和l。摄像机的光轴与成像平面的交点，即为图像物理坐标的原点，同时也成为图像的主点，主点理论上位于图像的中心，但是由于摄像机制造技术的缺陷，主点往往可能会偏移图像的中心。设主点在图像像素坐标系中的坐标的为。就可以得到图像像素坐标与图像物理坐标之间的转换关系如下： 

齐次坐标与矩阵形式表示为： 

综上所述，图像(像素)坐标与世界坐标之间的转换关系为： 

其中，称为投影矩阵；称为内参数矩阵，它由像素焦距，和主点坐标这些摄像机内部参数所决定，内参数矩阵在后续的标定过程中将是一个不变的量；称为外参数矩阵，它由旋转矩阵R和平移向量t所决定，它们描述的是摄像机相对于世界坐标系的位置和方向。

3 畸变参数

3.1 畸变

畸变（distortion）是对直线投影（rectilinear projection）的一种偏移。简单来说，直线投影是场景内的一条直线投影到图片上也保持为一条直线，畸变就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变（optical aberration），可能由于摄像机镜头的原因。

畸变类型：

• 径向畸变：来自于透镜形状。
• 切向畸变：来自于整个摄像机的组装过程。
• 其他类型的畸变

                               图5 畸变图示

3.2 张氏标定中的畸变模型

张正友标定法只考虑了径向畸变，没有考虑切向畸变。