【机器视觉3】双目立体视觉模型

简单模型

假设两个摄像机平行放置于同一高度、光轴平行、成像平面重合、焦距相同、左右图像每一行y坐标方向、大小相同，如下图所示：

由左右成像平面上的点、目标物点、焦距、摄像机中心基线距离的几何关系可以得到：$$\{\begin{array}{l}\frac{x_l}{X}=\frac{f}{Z}\\ \frac{x_r}{(X-D)}=\frac{f}{Z}\\ \frac{y_l}{Y}=\frac{y_r}{Y}=\frac{f}{Z}\end{array}$$设置视差$d=x_l-x_r$，则可求解出$P$坐标： [ X Y Z ] = [ D x l / d D y l / d D f / d ] \begin{bmatrix}X\\ Y\\ Z\end{bmatrix}=\begin{bmatrix}Dx_l/d\\ Dy_l/d\\ Df/d\end{bmatrix} ​XYZ​ ​= ​Dxl​/dDyl​/dDf/d​ ​因此，只需获取基线距离$D$、目标点左右成像坐标$p_l$、$p_r$、视差$d$ ，即可得到物体在左摄像机坐标系下的3D位置坐标。这种方法运算量少，适用于对精度要求不高的场景。

一般模型

实际摄像机由于制造工艺等原因，导致摄像机成像平面不在同一平面，且两摄像机光轴存在一定角度。因此必须建立双目立体视觉的一般模型来对实际系统进行分析。

设左摄像机坐标系$O_l-X_l{Y}_l{Z}_l$固定在世界坐标系，图像坐标系为$o_l-x_l{y}_l$，焦距为$f_l$。右摄像机坐标系$O_r-X_r{Y}_r{Z}_r$，对应图像坐标系$o_r-x_r{y}_r$，焦距为$f_r$，其光轴与左摄像机成角$\theta$。
左右摄像机投影变换模型分别（图像坐标系为物理单位尺度）： s l [ x l y l 1 ] = [ f l 0 0 0 f l 0 0 0 1 ] [ X l Y l Z l ] s_l\begin{bmatrix}x_l\\ y_l\\ 1\end{bmatrix}=\begin{bmatrix}f_l&0&0\\ 0&f_l&0\\ 0&0&1\end{bmatrix}\begin{bmatrix}X_l\\ Y_l\\ Z_l\end{bmatrix} sl​ ​xl​yl​1​ ​= ​fl​00​0fl​0​001​ ​ ​Xl​Yl​Zl​​ ​ s r [ x r y r 1 ] = [ f r 0 0 0 f r 0 0 0 1 ] [ X r Y r Z r ] s_r\begin{bmatrix}x_r\\ y_r\\ 1\end{bmatrix}=\begin{bmatrix}f_r&0&0\\ 0&f_r&0\\ 0&0&1\end{bmatrix}\begin{bmatrix}X_r\\ Y_r\\ Z_r\end{bmatrix} sr​ ​xr​yr​1​ ​= ​fr​00​0fr​0​001​ ​ ​Xr​Yr​Zr​​ ​其中，$\frac{s_l}{Z_l}=\frac{s_r}{Z_r}=1$
设左摄像机坐标系相对右摄像机坐标系的变换矩阵为： R = [ r 1 r 2 r 3 r 4 r 5 r 6 r 7 r 8 r 9 ] , T = [ t x t y t z ] R=\begin{bmatrix}r_1&r_2&r_3\\ r_4&r_5&r_6\\ r_7&r_8&r_9\end{bmatrix},T=\begin{bmatrix}t_x\\ t_y\\ t_z\end{bmatrix} R= ​r1​r4​r7​​r2​r5​r8​​r3​r6​r9​​ ​,T= ​tx​ty​tz​​ ​因此，右坐标系下的坐标通过左坐标系下坐标以及变换矩阵表示为： [ X r Y r Z r ] = [ R T ] [ X l Y l Z l 1 ] \begin{bmatrix}X_r\\ Y_r\\ Z_r\end{bmatrix}=\begin{bmatrix}R&T\end{bmatrix}\begin{bmatrix}X_l\\ Y_l\\ Z_l\\ 1\end{bmatrix} ​Xr​Yr​Zr​​ ​=[R​T​] ​Xl​Yl​Zl​1​ ​联立上式，可以计算出目标点在左坐标系（世界坐标系）下的坐标： [ X Y Z ] = [ X l Y l Z l ] = [ Z l x l f l Z l y l f l f l ( f r t y − y r t z ) y r ( r 7 x l + r 8 y l + f l r 9 ) − f r ( r 4 x l + r 5 y l + f l r 6 ) ] \begin{bmatrix}X\\Y\\Z\end{bmatrix}=\begin{bmatrix}X_l\\Y_l\\Z_l\end{bmatrix}=\begin{bmatrix}\frac{Z_lx_l}{f_l}\\ \frac{Z_ly_l}{f_l}\\ \frac{f_l(f_rt_y-y_rt_z)}{y_r\left(r_7x_l+r_8y_l+f_lr_9\right)-f_r\left(r_4x_l+r_5y_l+f_lr_6\right)}\end{bmatrix} ​XYZ​ ​= ​Xl​Yl​Zl​​ ​= ​fl​Zl​xl​​fl​Zl​yl​​yr​(r7​xl​+r8​yl​+fl​r9​)−fr​(r4​xl​+r5​yl​+fl​r6​)fl​(fr​ty​−yr​tz​)​​ ​通过以上推导可知，已知左右摄像机焦距$f_l$、$f_r$、目标点在左右相机的坐标$p_l$、$p_r$、变换矩阵$R$、$T$就可以获取目标点的三维坐标。