《计算机双目立体视觉》学习笔记02：相机成像模型

1. 四种参考坐标系

为了描述光学成像过程，在计算机视觉系统中涉及到了以下4种坐标系：

• 图像像素坐标系

• 图像物理坐标系

• 相机坐标系

• 世界坐标系
  

• 图像像素坐标系：
  表示三维图像在平面上的投影中各像素的位置，其原点位于图像平面的左上角，坐标用（u,v）来表示，分别代表该像素在图像数组中的列数和行数。

• 图像物理坐标系：
  图像像素坐标系并没有实际的物理意义，而图像的物理坐标系具有实际的物理单位（如mm）。其坐标原点在投影图像平面的中心（u0,v0），坐标轴分别平行于图像像素坐标系的坐标轴，坐标用（x,y）表示。

• 相机坐标系：
  以相机的光心为坐标原点，X、Y坐标轴平行于图像坐标系的坐标轴，相机的光轴为Z轴，坐标系满足右手法则。光轴与成像平面的交点为图像主点。场景点可以表示为以观察者为中心的三维坐标点（Xc，Yc，Zc）

• 世界坐标系
  也称为绝对坐标系，用于表示场景点的绝对坐标，用（Xw,Yw,Zw）表示。

2. 针孔模型
针孔模型是各种相机模型中最简单的一种，是相机的一个近似的线性模型。针孔模型是通过透视投影成像的，针孔模型的相机参数分别用内、外参数矩阵来描述。
图像的像素坐标系和物理坐标系都是二维的，对于图像像素坐标系中坐标为（u,v）的P，其在图像物理坐标系（原点O的坐标为（u0,v0））中的坐标（x,y）与（u,v）的对应关系如下：


可用矩阵的形式表示为：

相机坐标系和世界坐标系都能在三维环境中描述相机和物体的位置关系。那对于一个给定的、作为基准的世界坐标系，可以通过一个正交单位旋转矩阵R与三维平移向量T来将其与相机坐标系结合起来。也就是说，如果已知空间某点P在世界坐标系和相机坐标系下的坐标分别为（Xw,Yw,Zw）和（Xc,Yc,Zc），则有：

那如何把二维的坐标与三维坐标联系起来呢？对于空间中的任意一点，其在像平面上的物理坐标（x,y）与相机坐标系中的坐标（Xc,Yc,Zc）之间满足：


综上，可得：


其中，P为一个3*4的矩阵，称为投影矩阵；矩阵K内的各项参数只与相机的内部结构有关，称为相机的内参数矩阵；[R T]由相机相对于世界坐标系的位置决定，称为相机的外参数矩阵。

PS. 已经更新了更详细的坐标变换讲解，请点击这里

3. 畸变模型

实际相机的成像比针孔模型复杂的多，存在各种镜头畸变和变形。
镜头的畸变类型主要有三种：径向畸变、离心畸变、薄棱镜畸变。镜像畸变仅使像点产生径向位置偏差，而离心畸变和薄棱镜畸变既产生径向位置偏差，又产生切向位置偏差。
（1）径向畸变
径向畸变主要是由镜头形状缺陷造成的，它是关于相机镜头的主光轴对称的，主要分为枕形畸变和筒形畸变，like this:

（2）离心畸变
离心畸变是由于光学系统中的光学中心和几何中心不一致造成的，这类畸变既包含径向畸变，又包含切向畸变。
（3）薄棱镜畸变
薄棱镜畸变是由于镜头设计缺陷与加工安装误差导致的，这类畸变相当于在光学系统中附加了一个薄棱镜，不仅引起径向位置的偏差，也会引起切向位置的改变。

目前的光学系统设计、加工和安装都可以控制得到较好的精度，因此我们一般只考虑径向畸变和切向畸变，甚至在精度要求不是很高的情况下，直接考虑径向畸变即可。

相机校准的算法和程序，等下回再说吧。