SLAM十四讲ch5——相机成像模型

针孔相机模型

首先可以利用这样一个简单的模型解释相机成像过程：

其中$Oxyz$是相机坐标系，$O$是相机光心，假设$P[X,Y,Z{]}^T$，$P^{\prime }[X,Y,Z{]}^T$，物理成像平面到小孔距离为焦距$f$，那么有：

从而有：
$$\frac{Z}{f}=-\frac{X}{X^{‘}}=-\frac{Y}{Y^{‘}}$$
我们可以假设把成像平面绕相机光心旋转180°，这样可以把负号去掉，也能使得其像不是倒立的，整理得：
$$X^{‘}=f\frac{X}{Z}$$$$Y^{‘}=f\frac{Y}{Z}$$
为了描述传感器将感受到的光线转换成图像的过程，我们假设在物理成像平面上铺了一层像素平面$ouv$，每个落在物理成像平面的点都可以经过某种缩放和平移进而投射到像素平面。像素坐标系的原点在左上角，$u$轴和$x$轴平行， $v$轴和$y$轴平行。我们假设像素坐标在$u$轴上缩放了$\alpha$倍，在$v$轴上缩放了$\beta$倍，同时平移了$[c_x,c_y{]}^T$，那么P点的像素坐标$[u,v{]}^T$和P在物理成像平面上坐标的对应关系是：

$$\{\begin{array}{l}u=\alpha X^{‘}+c_x\\ v=\beta Y^{‘}+c_y\end{array}$$
进而我们可以求出P点的像素坐标$[u,v{]}^T$和P的实际坐标的对应关系是：
$$\{\begin{array}{l}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}$$
可以看出$f$的单位是米，$\alpha$ $\beta$的单位是像素/米，$f_x{f}_y$的单位是像素，上式可以写成矩阵形式，不过左侧需要用到其次坐标：
$$Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=KP$$
上面的K就是内参矩阵。
有了内参，自然也要有外参，刚才我们所推导的公式中P点坐标都是P在像素坐标系下的坐标($P_c$)，如果引进相机本身的位姿信息，那我们应该使用P在世界坐标系下的坐标($P_w$)，相机的位姿由它的旋转矩阵$R$和平移向量$t$来描述:
$$Z{P}_{uv}=Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K(R{P}_w+t)=KT{P}_w$$
上面的Rt就是相机的外参，注意上面的公式最后隐含了齐次坐标到非齐次坐标的转换，既上面公式的$T{P}_w$仅仅代表了其前三个维度，因为最后一个维度仅包含一个1。
此外还有一个要提的是归一化坐标，既把$P_c$看成一个二维的其次坐标：
$$\widehat{P_c}=\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]，P_c=\left[\begin{array}{c}X/Z\\ Y/Z\\ 1\end{array}\right]$$
上式中$\widehat{P_c}$代表其次坐标的表示方法。该坐标位于相机前方$z=1$的平面上，改平面称为归一化平面。我们也可以理解像素坐标$P_{uv}$是对归一化平面上的点进行量化测量的结果，因为其$Z$是1.

畸变模型

未完待续。。