目录
- 双目成像简单分析
双目成像简单分析
1. 双目视差推导(对14讲上内容的一些深入解释)
对于十四讲中的推导有些疑惑，给出了结果，但是推导部分感觉不太严谨，所以简单推了一下。
设空间3D点\(P\):
在左右相机上对应的像素坐标为\(u_L,u_R\)(图像坐标系,原点在左上角)单位: pixel
同时假设\(u_L\)在左相机中心点右侧，\(u_R\)在右相机中心点左侧(仅仅便于推导，实际情况结果都一样)
深度为\(d\)，单位: mm
双目基线长度\(b\),单位: mm
相机传感器像素与mm转换系数\(s\),单位: mm/pixel
相机焦距\(f_x\)，单位: pixel
图像中心点横坐标为\(w\)
这里取的是像素焦距，为什么是\(f_x\)，请看第2节分析
利用相似三角形关系(图见十四讲P91)，可以得到:
\[ \frac{z-f_xs}{z} = \frac{b-(u_L-w+w-u_R)s}{b} \\ \Rightarrow bz-bf_xs =bz-zs(u_L-u_R) \\ \Rightarrow z=\frac{bf_x}{u_L-u_R} \\ \Rightarrow z = \frac{bf_x}{d} \\ \text{其中}:d=u_L-u_R \]
称为视差，单位为像素，最小值为一个像素，所以深度的最大值为:\(bf_x\)
2. 使用\(f_x\)的原因以及双目成像完整推导
相机成像模型如下:
- \(u_L,v_L,u_R,v_R\): 单位像素
- \(\alpha,\beta\): 传感器单位长度上像素个数(pixel/mm)
- \(f\):物理焦距，单位mm
对于同一个3D空间点\(P=(X,Y,Z)^T\)，其在两个相机上的成像模型为:
左目:
\[ s\begin{pmatrix} u_L\\ v_L \\ 1 \end{pmatrix} = \begin{pmatrix} \alpha & 0 &c_x \\ 0& \beta & c_y \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} f & 0&0&0 \\ 0 &f &0 &0 \\ 0 & 0 & 1 & 0 \end{pmatrix} \begin{pmatrix} X\\Y\\Z\\1 \end{pmatrix} \]
右目:
\[ s\begin{pmatrix} u_R\\ v_R\\ 1 \end{pmatrix} = \begin{pmatrix} \alpha & 0 &c_x \\ 0& \beta & c_y \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} f & 0&0&0 \\ 0 &f &0 &0 \\ 0 & 0 & 1 & 0 \end{pmatrix} \begin{pmatrix} X-b\\Y\\Z\\1 \end{pmatrix} \]
这里假设两个相机的内参相同，并且已经进行过双目校正，如果完整考虑整个模型，只需替换相关参数继续推导即可
由于进行过双目校正，所以只需要考虑\(u_L,u_R\)关系即可:
\[ u_L = \alpha f \frac{X}{Z}+c_x \\ u_R= \alpha f\frac{X-b}{Z}+c_x \\ \alpha f \Rightarrow f_x \]
两式相减可以得到:
\[ Z = \frac{bf_x}{u_L-u_R} \]
与前面利用几何关系推导结果相同，并且在实际代码中使用\(f_x\)的原因也清楚了。