自动驾驶环境感知——视觉传感器技术

1. 摄像头的成像原理

视觉传感器：利用光学元件和成像装置获取外部环境图像信息的仪器。

通常视觉传感器，其主要功能是获取足够的机器视觉系统要处理的最原始图像，类似于人类的眼睛。

1.1 单目视觉传感器的硬件结构

    单目视觉的相机模组的组件包括了lens(镜头)、分色滤色片(IR cut)、感光元件等。    分色滤色片：对色光具有吸收、反射和透过作用的染有颜色的透明片。目前分色滤色片有两种分色方法：RGB原色分色法，CMYK补色分色法
    感光元件，其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时，就会产生电荷。感光元件一般包括CCD和CMOS两种。像素值一般为（0-255），电路噪声导致像素值失真.

1.2 单目视觉的成像原理 –小孔成像模型

成像模型：相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程。

相机坐标系：$O-x-y-z$ 为相机坐标系，在轴指向相机前方，$x$轴向右，$y$轴向下。$O$为摄像机的光心（或摄像头中心）。

物理成像平面： $O’-x’-y’-z’$为物理成像平面。物理成像平面到小孔的距离为$f$，称之为焦距。

成像原理：空间点$P$的光束被映射到图像平面，图像平面感光之后形成像素$P^{\prime }$。

    接下来看看具体的原理推导：
    首先，已知三维世界中的坐标点$P=（X,Y,Z）$,成像平面中的$P^{\prime }=(X^{\prime },Y^{\prime })$，焦距为$f$.由相似三角形原理可得，$$\begin{array}{c}{X}^{\prime }=-\frac{f\cdot X}{Z}\\ \\ Y^{\prime }=-\frac{f\cdot Y}{Z}\end{array}$$    在视觉感知中，常使用等效表达的方式来体现真实图像的输出过程    因此，我们可以将式子改为$$\begin{array}{c}{X}^{\prime }=\frac{f\cdot X}{Z}\\ \\ Y^{\prime }=\frac{f\cdot Y}{Z}\end{array}$$

1.3 单目视觉的成像原理 – 像素坐标系

    从成像平面坐标到像素坐标：图像是基于像素来表达。像素坐标和成像平面坐标之间，相差了一个缩放和原点的平移。
    假设正向成像平面中$P’=(X’,Y’)$, 其像素坐标为$(u,v)$.
    缩放及平移的过程可以由下式来表达：$$\{\begin{array}{c}u=\alpha X^{\prime }+c_x\\ v=\beta Y^{\prime }+c_y\end{array}$$    将$P^{\prime }$的坐标代入，$\begin{array}{c}{X}^{\prime }=\frac{f\cdot X}{Z}，Y^{\prime }=\frac{f\cdot Y}{Z}\end{array}$，可以得到三维坐标与像素坐标的转换关系$$\begin{array}{l}\{\begin{array}{c}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}\\ f_x=\alpha f,f_y=\beta f\end{array}$$    用矩阵的形式表达： [ μ ν 1 ] = 1 Z [ f x 0 c x 0 f y c y 0 0 1 ] [ X Y Z ] \left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = \frac{1}{Z}\left[ {\begin{array}{ccccccccccccccc}{{f_x}}&0&{{c_x}}\\0&{{f_y}}&{{c_y}}\\0&0&1\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}X\\Y\\Z\end{array}} \right] ​μν1​ ​=Z1​ ​fx​00​0fy​0​cx​cy​1​ ​ ​XYZ​ ​    其中， [ μ ν 1 ] \left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] ​μν1​ ​为像素坐标， [ X Y Z ] \left[ {\begin{array}{ccccccccccccccc}X\\Y\\Z\end{array}} \right] ​XYZ​ ​为相机坐标系中的三维坐标点， [ f x 0 c x 0 f y c y 0 0 1 ] \left[ {\begin{array}{ccccccccccccccc}{{f_x}}&0&{{c_x}}\\0&{{f_y}}&{{c_y}}\\0&0&1\end{array}} \right] ​fx​00​0fy​0​cx​cy​1​ ​为内参矩阵。

1.4 单目视觉三维坐标系转换 – 外参

    相机的三维坐标系($O_C$) 并不是一个“稳定”的坐标系，会随着相机的移动而改变坐标的原点和各个坐标轴的方向。在应用中，相机安装在自动驾驶车辆上，随车辆运动相机坐标系实时变化。对一些需要固定特征坐标的应用，比如地图，因此需要引进一个稳定不变的坐标系：世界坐标系（$O_W$）    从某三维世界坐标系（$O_W$）到相机的三维坐标系($O_C$)的变换，称为相机的外参，本质是将世界坐标系中的特征点，转换到相机坐标系。
    三维坐标系的变换是一个刚性平移加旋转的过程，变换包括平移向量（$t$：3x1）以及旋转矩阵($R$：3x3)。
    三维坐标变换表达：已知某世界坐标系($O_W$)中空间点$P_W=(X_W,Y_W,Z_W)$以及$O_W$与相机坐标系($O_C$)的变换$R,t$. 求解此空间点在OC坐标系的坐标$P_C=(X_C,Y_C,Z_C)$ 。
    下式即为三维坐标变换： [ X c Y c Z c ] = [ R 11 R 12 R 13 R 21 R 22 R 23 R 31 R 32 R 33 ] [ X w Y w Z w ] + [ t 1 t 2 t 3 ] \left[ {\begin{array}{ccccccccccccccc}{{X_c}}\\{{Y_c}}\\{{Z_c}}\end{array}} \right] = \left[ {\begin{array}{ccccccccccccccc}{{R_{11}}}&{{R_{12}}}&{{R_{13}}}\\{{R_{21}}}&{{R_{22}}}&{{R_{23}}}\\{{R_{31}}}&{{R_{32}}}&{{R_{33}}}\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}{{X_w}}\\{{Y_w}}\\{{Z_w}}\end{array}} \right] + \left[ {\begin{array}{ccccccccccccccc}{{t_1}}\\{{t_2}}\\{{t_3}}\end{array}} \right] ​Xc​Yc​Zc​​ ​= ​R11​R21​R31​​R12​R22​R32​​R13​R23​R33​​ ​ ​Xw​Yw​Zw​​ ​+ ​t1​t2​t3​​ ​

1.5 单目视觉的坐标系转换 – 从世界坐标点到像素坐标

    最后对整个过程进行总结：
世界坐标系($O_W$)中空间点$P_W=(X_W,Y_W,Z_W)$，成像到相机中得出其像点$p=(u,v)$，需要经过三次变换:

• 世界坐标系转换到相机三维坐标系→ 刚性变化，平移加旋转
• 相机三维坐标系转换到相机成像平面坐标系 → 小孔成像模型
• 相机成像坐标系转换到像素坐标系 →缩放加平移
  

1.6 单目视觉的特性

• 深度不确定：图中点X以及点X’的成像点是同一个像素点x。
• 远小近大：高度为X的物体，离相机越远成像点越矮，远处看不见。
• 易受遮挡：X与X’同时存在时，只能看到X，有盲区
• 受光线强度影响：光线过强，都是255，光线过暗，都是0
• 受分辨率影响：像素过低，细节就会丢失
• 受帧率影响：像素过高，传输速率有限，图片帧率偏低
• 受镜头影响：焦距和视角会直接决定看见的距离和角度范围

2. 视觉传感器的标定

    首先对成像公式进行整理：

[ μ ν 1 ] = 1 Z C [ f x 0 c x 0 f y c y 0 0 1 ] [ X C Y C Z C ] = 1 Z C ⋅ K ⋅ [ X C Y C Z C ] = [ μ ν 1 ] = 1 Z C [ f x 0 c x 0 f y c y 0 0 1 ] [ X C Y C Z C ] = 1 Z C ⋅ K ⋅ ( R ⋅ [ X W Y W Z W ] + t ) = 1 Z C ⋅ K ⋅ ( [ R t 0 1 ] [ X W Y W Z W 1 ] ) = M ⋅ [ X W Y W Z W 1 ] = [ M 1 M 2 M 3 M 4 M 5 M 6 M 7 M 8 M 9 M 10 M 11 M 12 ] ⋅ [ X W Y W Z W 1 ] \begin{array}{c}\left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = \frac{1}{{{Z_C}}}\left[ {\begin{array}{ccccccccccccccc}{{f_x}}&0&{{c_x}}\\0&{{f_y}}&{{c_y}}\\0&0&1\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}{{X_C}}\\{{Y_C}}\\{{Z_C}}\end{array}} \right]\\ = \frac{1}{{{Z_C}}} \cdot K \cdot \left[ {\begin{array}{ccccccccccccccc}{{X_C}}\\{{Y_C}}\\{{Z_C}}\end{array}} \right]\\ = \left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = \frac{1}{{{Z_C}}}\left[ {\begin{array}{ccccccccccccccc}{{f_x}}&0&{{c_x}}\\0&{{f_y}}&{{c_y}}\\0&0&1\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}{{X_C}}\\{{Y_C}}\\{{Z_C}}\end{array}} \right]\\ = \frac{1}{{{Z_C}}} \cdot K \cdot \left( {R \cdot \left[ {\begin{array}{ccccccccccccccc}{{X_W}}\\{{Y_W}}\\{{Z_W}}\end{array}} \right] + t} \right)\\ = \frac{1}{{{Z_C}}} \cdot K \cdot \left( {\left[ {\begin{array}{ccccccccccccccc}R&t\\0&1\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}{{X_W}}\\{{Y_W}}\\{{Z_W}}\\1\end{array}} \right]} \right)\\ = M \cdot \left[ {\begin{array}{ccccccccccccccc}{{X_W}}\\{{Y_W}}\\{{Z_W}}\\1\end{array}} \right]\\ = \left[ \begin{array}{l}\begin{array}{ccccccccccccccc}{{M_1}}&{{M_2}}&{{M_3}}&{{M_4}}\end{array}\\\begin{array}{ccccccccccccccc}{{M_5}}&{{M_6}}&{{M_7}}&{{M_8}}\end{array}\\\begin{array}{ccccccccccccccc}{{M_9}}&{{M_{10}}}&{{M_{11}}}&{{M_{12}}}\end{array}\end{array} \right] \cdot \left[ {\begin{array}{ccccccccccccccc}{{X_W}}\\{{Y_W}}\\{{Z_W}}\\1\end{array}} \right]\end{array} ​μν1​ ​=ZC​1​ ​fx​00​0fy​0​cx​cy​1​ ​ ​XC​YC​ZC​​ ​=ZC​1​⋅K⋅ ​XC​YC​ZC​​ ​= ​μν1​ ​=ZC​1​ ​fx​00​0fy​0​cx​cy​1​ ​ ​XC​YC​ZC​​ ​=ZC​1​⋅K⋅ ​R⋅ ​XW​YW​ZW​​ ​+t ​=ZC​1​⋅K⋅ ​[R0​t1​] ​XW​YW​ZW​1​ ​ ​=M⋅ ​XW​YW​ZW​1​ ​= ​M1​​M2​​M3​​M4​​M5​​M6​​M7​​M8​​M9​​M10​​M11​​M12​​​ ​⋅ ​XW​YW​ZW​1​ ​​

2.1 视觉传感器标定原理 – 线性标定法

标定的数学表达解释：输入$n$个特征点的世界坐标及像素坐标，输出$M$矩阵
原理：根据一对特征点$P_i,p_i$ ，成像公式可以得到两个线性方程:
[ μ ν 1 ] = [ M 1 M 2 M 3 M 4 M 5 M 6 M 7 M 8 M 9 M 10 M 11 M 12 ] ⋅ [ X i Y i Z i 1 ] {\left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = \left[ {\begin{array}{lllllllllllllll}{\begin{array}{ccccccccccccccc}{{M_1}}&{{M_2}}&{{M_3}}&{{M_4}}\end{array}}\\{\begin{array}{ccccccccccccccc}{{M_5}}&{{M_6}}&{{M_7}}&{{M_8}}\end{array}}\\{\begin{array}{ccccccccccccccc}{{M_9}}&{{M_{10}}}&{{M_{11}}}&{{M_{12}}}\end{array}}\end{array}} \right] \cdot \left[ {\begin{array}{ccccccccccccccc}{{X_i}}\\{{Y_i}}\\{{Z_i}}\\1\end{array}} \right]} ​μν1​ ​= ​M1​​M2​​M3​​M4​​M5​​M6​​M7​​M8​​M9​​M10​​M11​​M12​​​ ​⋅ ​Xi​Yi​Zi​1​ ​

    每一对特征点可以转换为两个线性方程，共11个自由度
    所以，如果$n>=6$，即可计算得到$M$矩阵
    实际应用中，一般会用非常多的特征点，基于最小二乘方法求解$M$矩阵。

    如果镜头畸变需要矫正，则需要基于非线性方法，引入非线性畸变模型。一般可以采用非线性优化的方法求解。

2.2 相机畸变模型

2.2.1 径向畸变

    由镜头透镜形状引起的畸变称为径向畸变，径向畸变主要分为桶形畸变和枕型畸变。

    在针孔相机模型中，一条直线投影到像素平面上还是一条直线。 但在实际中，相机的透镜使得真实环境中的直线在图片中变成了曲线。由于透镜往往是中心对称的，这使得不规则畸变通常径向对称。径向畸变可由三个参数$k_1,k_2,k_3$确定。
$$\begin{array}{l}{x}_{corrected}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\\ y_{corrected}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\end{array}$$

2.2.2 切向畸变

    切向畸变源于透镜不完全平行于图像平面，即感光成像平面装配时与镜头间的角度不准；

    产生的影响是图像像素点以畸变中心为中心点，沿着切向产生的位置偏差；
    切向畸变由两个参数$p_1,p_2$确定。
$$\begin{array}{l}{x}_{corrected}=x+[2p_{1}xy+p_2(r^2+2x^2)]\\ y_{corrected}=y+[p_1(r^2+2y^2)+2p_{2}xy]\end{array}$$

    结合径向畸变的式子，即可得到畸变矫正的公式：$$\begin{array}{l}{x}_{corrected}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2)\\ y_{corrected}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2y^2)+2p_{2}xy\end{array}$$

2.3 单目相机标定方法

    对于单目相机的标定，我们主要需要对以下几个量进行标定：

• 内参矩阵$K$
• 外参$R,t$
• 畸变参数$k_1,k_2,p_1,p_2$
      有几种常用的方法用于标定：

一步法：

直接使用最优化方法求出相机内外参数

两步法：

1. Tsai法（1987年）
   假设：$u_0,v_0$已知，只考虑径向畸变
   标定设备：三维标定块
2. 张正友法
   假设：只考虑径向畸变
   标定设备：平面标定板

2.4 双目相机标定

此部分来源于北京理工大学慕课《无人驾驶车辆》

2.4.1 双目相机模型

    左右双目相机有以下特点：
• 光圈中心都在x轴上
• 光圈中心距离称为“基线
    将其转化为俯视图，如下所示    双目相机有以下几何关系

2.4.2 双目相机标定方法

    双面相机两相机间的角度可能存在偏差，因此测距原理$z=\frac{fb}{u_L-u_R}$不再适用，需要进行重新标定。具体标定对象则是两相机之间的相对旋转矩阵与平移向量。

    除此之外，两相机之间的相对距离也可能有安装误差，同样需要标定。把左右相机的图像在水平方向严格对齐，对原始图像进行消除畸变，再进行图像校正与图像裁剪，最后就能得到校正后的图像。

2.5 俯视图转化标定——逆透视变换

    逆透视变换，英文为IPM (Inverse Perspective Mapping)
原理：根据图片坐标与世界坐标的关系，将图片像素$uv$对应到路面$xy$
难点：一般来说，图片没有距离尺度信息，一个像素点确定一条射线而不能确定是哪个点
解决办法：假设地面平坦且高度已知$（z=0）$，就等于将世界坐标降维到二维，实现$uv$与$xy$的一一对应。

接下来进行公式推导：

1. 相机成像公式，内参外参可以合并为一个3乘4矩阵$M$
   Z c [ μ ν 1 ] = [ f x 0 u 0 0 0 f y v 0 0 0 0 1 0 ] [ R 3 × 3 T 3 × 1 0 1 ] [ x y z 1 ] = [ M 1 M 2 M 3 M 4 M 5 M 6 M 7 M 8 M 9 M 10 M 11 M 12 ] ⋅ [ x y z 1 ] \begin{array}{c}{Z_c}\left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = \left[ \begin{array}{l}\begin{array}{ccccccccccccccc}{{f_x}}&0&{{u_0}}&0\end{array}\\\begin{array}{ccccccccccccccc}0&{{f_y}}&{{v_0}}&0\end{array}\\\begin{array}{ccccccccccccccc}0&0&1&0\end{array}\end{array} \right]\left[ {\begin{array}{ccccccccccccccc}{{R_{{\rm{3}} \times 3}}}&{{T_{3 \times 1}}}\\0&1\end{array}} \right]\left[ \begin{array}{l}x\\y\\z\\1\end{array} \right]\\ = \left[ {\begin{array}{lllllllllllllll}{\begin{array}{ccccccccccccccc}{{M_1}}&{{M_2}}&{{M_3}}&{{M_4}}\end{array}}\\{\begin{array}{ccccccccccccccc}{{M_5}}&{{M_6}}&{{M_7}}&{{M_8}}\end{array}}\\{\begin{array}{ccccccccccccccc}{{M_9}}&{{M_{10}}}&{{M_{11}}}&{{M_{12}}}\end{array}}\end{array}} \right] \cdot \left[ {\begin{array}{ccccccccccccccc}x\\y\\z\\1\end{array}} \right]\end{array} Zc​ ​μν1​ ​= ​fx​​0​u0​​0​0​fy​​v0​​0​0​0​1​0​​ ​[R3×3​0​T3×1​1​] ​xyz1​ ​= ​M1​​M2​​M3​​M4​​M5​​M6​​M7​​M8​​M9​​M10​​M11​​M12​​​ ​⋅ ​xyz1​ ​​
2. 假设地面平坦，令$z=0$，就可以去掉$M$的第三列，两侧左乘$M^{-1}$，并将$Z_c$移到右侧，记$w=1/Z_c$，$P=M^{-1}$ Z c [ μ ν 1 ] = [ M 1 M 2 M 4 M 5 M 6 M 8 M 9 M 10 M 12 ] [ x y 1 ] {Z_c}\left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = \left[ {\begin{array}{ccccccccccccccc}{{M_1}}&{{M_2}}&{{M_4}}\\{{M_5}}&{{M_6}}&{{M_8}}\\{{M_9}}&{{M_{10}}}&{{M_{12}}}\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}x\\y\\1\end{array}} \right] Zc​ ​μν1​ ​= ​M1​M5​M9​​M2​M6​M10​​M4​M8​M12​​ ​ ​xy1​ ​ [ p 11 ′ p 12 ′ p 13 ′ p 12 ′ p 22 ′ p 23 ′ p 13 ′ p 23 ′ p 33 ′ ] [ μ ν 1 ] = w [ x y 1 ] \left[ {\begin{array}{ccccccccccccccc}{{p_{11}}^\prime }&{{p_{12}}^\prime }&{{p_{13}}^\prime }\\{{p_{12}}^\prime }&{{p_{22}}^\prime }&{{p_{23}}^\prime }\\{{p_{13}}^\prime }&{{p_{23}}^\prime }&{{p_{33}}^\prime }\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = w\left[ {\begin{array}{ccccccccccccccc}x\\y\\1\end{array}} \right] ​p11​′p12​′p13​′​p12​′p22​′p23​′​p13​′p23​′p33​′​ ​ ​μν1​ ​=w ​xy1​ ​
3. 归一化：将P中各元素除以$p_{33}\prime$，$w$也除以$p_{33}\prime$，重新整理得 [ p 11 p 12 p 13 p 12 p 22 p 23 p 13 p 23 1 ] [ μ ν 1 ] = w ′ [ x y 1 ] \left[ {\begin{array}{ccccccccccccccc}{{p_{11}}}&{{p_{12}}}&{{p_{13}}}\\{{p_{12}}}&{{p_{22}}}&{{p_{23}}}\\{{p_{13}}}&{{p_{23}}}&1\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}\mu \\\nu \\1\end{array}} \right] = w'\left[ {\begin{array}{ccccccccccccccc}x\\y\\1\end{array}} \right] ​p11​p12​p13​​p12​p22​p23​​p13​p23​1​ ​ ​μν1​ ​=w′ ​xy1​ ​

    记点$A$在图片中坐标（$u_A,v_A$),真实世界坐标（$x_A,y_A$）,则有 [ w x A w y A w ] = [ p 11 p 12 p 13 p 12 p 22 p 23 p 13 p 23 1 ] [ u A ν A 1 ] \left[ {\begin{array}{ccccccccccccccc}{w{x_A}}\\{w{y_A}}\\w\end{array}} \right] = \left[ {\begin{array}{ccccccccccccccc}{{p_{11}}}&{{p_{12}}}&{{p_{13}}}\\{{p_{12}}}&{{p_{22}}}&{{p_{23}}}\\{{p_{13}}}&{{p_{23}}}&1\end{array}} \right]\left[ {\begin{array}{ccccccccccccccc}{{u_A}}\\{{\nu _A}}\\1\end{array}} \right] ​wxA​wyA​w​ ​= ​p11​p12​p13​​p12​p22​p23​​p13​p23​1​ ​ ​uA​νA​1​ ​    用第三行消去$w$，得$$x_A=\frac{p_{11}{u}_A+p_{12}{v}_A+p_{13}}{p_{31}{u}_A+p_{32}{v}_A+1}$$$$y_A=\frac{p_{21}{u}_A+p_{22}{v}_A+p_{23}}{p_{31}{u}_A+p_{32}{v}_A+1}$$    矩阵方程形成以$p_{ij}$作为未知数的2个方程
    对$BCD$重复上述操作，形成8个方程，就能求解出全部8个未知数