相机基础及标定

1.学习目标

这堂课，我们主要学习相机的工作原理，光源，相机参数与标定等

能够理解相机和镜头的关系
能够理解小孔模型
能够理解相机成像的过程
能够理解相机内参
能够理解3D相机工作原理
学会相机内参的标定

2.相机概述

相机是机器视觉的基础，相机直接产生了相机数据。所有视觉算法都是作用在相机数据上的。相机数据的好坏，或者，对相机数据的理解方式，直接决定了视觉算法的效果。
可以说：机器视觉是建立在对相机成像过程的深刻理解的基础之上的。

依据相机数据维度的不同，相机分为两类，

2D相机，可以产生图像数据，包括灰度图，彩色图等
3D相机，可以产生图形数据，包括深度图，点云图等

从工作原理来看，
2D相机可分为，

CCD相机
CMOS相机

3D相机可分为，

TOF相机
双目相机
结构光相机
激光扫描仪

2.1小孔成像模型

为了理解相机成像原理，我们需要先理解小孔成像模型。

20190603-172412.png

图1 小孔成像原理示意图

上图是最原汁原味的小孔成像原理图，它描述的是三维空间中的点到图像平面(image plane)上的投影。

思考:
三维空间中的每个点，都在图像平面上有一个唯一对应的投影吗？

在实际的实现和应用中，为了表达的方便，通常会将图像平面放在小孔和三维场景之间。如下图所示，（这是大家在很多教科书，播客，专业书籍上能看到的图）

20190603-203150.png

图2 小孔成像原理的一个实际实现的描述

20190603-204059.png

20190603-204220.png

图3 对图2的一些直观补充

这里介绍几个概念，

光轴
光心，光轴中心点，即上图中的O点
焦距，光心到图像平面的距离
相机坐标系,X-Y-Z
图像坐标系,x,y
像素坐标系,u,v

我们首先来看看像素坐标：几乎所有的图像，像素坐标都如下图所示，

20190603-205145.png

即：像素原点在图像的左上角，横坐标值表示列数c，通常以u表示；纵坐标值表示行数r，通常以v表示。

为了数学表达的方便，通常以光心为原点，建立一个图像坐标系。
下图详细的描述了这些关系。

20190603-172623.png

下面详细推导下3个坐标系之间的对应关系，

20190603-210517.png

利用相似三角形以及比例的原理，有以下公式，

20190603-210812.png

20190603-210822.png

where

20190603-210919.png

is a scale factor.
Now, the actual pixel coordinates (u,v) are defined with respect to an origin in the top left hand corner of the image plane, and will satisfy

20190603-210933.png

We can express the transformation from three dimensional world coordinates to image pixel coordinates using a 3X4
matrix. This is done by substituting equation (1) into equation (2) and multiplying through by Z to obtain,

20190603-210947.png

where the scaling factor s has value Z. In short hand notation, we write this as

20190603-210959.png

3.透镜

实际成像时，如果小孔过小，则入射光的强度会受到影响，进一步会影响到成像。
另一方面，由于光的波动性，在小孔的边缘上，光将发生衍射，因此，这些光将在像平面上“散播”。当小孔变的越来越小时，入射光的“散播”范围将变得越来越大，因此，入射光中越来越多的能量将会被“散播”到：偏离入射光方向的“地方”。

为了解决小孔相机的上述问题，我们现在考虑：在成像系统中使用透镜。

20190604-104419.png

20190604-104556.png

一个理想的透镜具有如下两个性质：

它的投影方式和小孔模型相同
将一定数量的光线汇聚在一起。

3.1镜头的畸变

理想的透镜是没有畸变的。但是，因为制造和安装精度等方面的原因，镜头总是存在这畸变。
这里我们主要描述两种主要的透镜畸变，

径向畸变，这主要来自于透镜形状以及建模的方式
切向畸变，这主要来自于相机的装配误差

从径向畸变开始。实际摄像机的透镜总是在成像仪的边缘产生显著的畸变，如下图所示。对某些透镜，光线在远离透镜中心的地方比靠近中心的地方更加弯曲。

20190612-193625.png

对径向畸变，成像仪中心（光轴）的畸变为0，随着向边缘移动，畸变越来越严重。当然，在实际的相机中，这种畸变比较小，而且可以用r=0位置周围的泰勒级数展开的前几项来定量描述。

20190612-202901.png

下图显示矩形网格因径向畸变而产生的位移。越远离光轴中心的地方，矩形网格上的点偏移越大。

20190612-203624.png

第二大常用畸变是切向畸变，是由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的，如下图所示，

20190612-204250.png

切向畸变可以用两个额外的参数p1和p2来描述，

20190612-204006.png

下图描述了3种常见的畸变情形，桶形畸变通常k1>0，枕形畸变通常k1<0。

20190603-210947.png

4. CCD & CMOS

通过透镜聚焦于像平面的光线，最终需要通过传感器来生成图像。目前，有两种最流行的数字传感器技术，

CCD, charge-coupled device
CMOS, complementary metal-oxide semiconductor
两者的主要区别是从芯片中读出数据的方式即读出结构不同。下图描述了两者读出方式的不同。

20190604-144504.png

4.1 CCD传感器

CCD传感器由一系列光线敏感的光电传感器组成，光电探测器能将光子转为电子并将电子转为电流。
曝光时，光电探测器累计电荷，通过转移门电路，电荷被移至串行读出寄存器从而读出。
每个光电探测器对应一个读出寄存器。
下图形象的描述了CCD传感器的工作原理。

20190604-144735.png

4.2 CMOS传感器

CMOS传感器通常采用光电二极管作为光电探测器。
与CCD传感器不同，光电二极管中的电荷不是顺序地转移到读出寄存器，CMOS传感器的每一行都可以通过行和列选择电路直接选择并读出。因此，CMOS传感器可以当做随机读取存储器。

20190604-152128.png

4.3 彩色相机

CCD和CMOS传感器，对于整个可见光波段全部有相应，所以无法产生彩色图像。
为了产生彩色图像，需要在传感器前面加上彩色滤镜阵列(color filter array, CFA)使得一定范围的光到达每个光电探测器。
下图展示了最常见的Bayer滤镜阵列。这种滤镜阵列由三种滤镜组成，每种滤镜都可以透过人眼敏感的三基色红，绿，蓝中的一种。由于人眼对绿色最为敏感，所以滤镜阵列中绿色采样频率是其它两种的两倍。
值得注意的是由于绿色采样是1/2，红、蓝是1/4，这就导致了严重的图像失真。通常在传感器前加上控图像失真滤光片。
下面分别给出CCD彩色相机的示意图，