相机模型及张正友标定法

针孔相机模型

针孔相机模型是实际研究中最常用的模型。针孔是一个中间有一个小孔的假想墙壁，光只能从小孔通过。

$f$是摄像机焦距，$Z$是摄像机到物体的距离，$X$是物体长度，是图像平面上的物体长度。由相似三角形可得：
$$-x=f\frac{X}{Z}$$

可将上图等价转换为如下所示系统，图像平面防止在针孔前方的摄像机模型（数学上等价，形式更简单）。

经过转换得到
$$\begin{array}{r}{x}_p=f\frac{x_c}{z_c}\\ y_p=f\frac{y_c}{z_c}\end{array}⟺z_c\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]$$

物体投影到成像平面之后由采样器件采样后转换为数字信号，成为像素图像。$dx,dy$分别为一个像素占据的成像平面的物理尺寸(x方向,y方向)。
由于像素坐标系的原点和图像坐标系的原点不同，建模时需要加上两者原点的偏移和$c_x$和$c_y$，像素坐标系两个轴的夹角$\theta$。
$$\begin{array}{rl}u& =\frac{x_p}{dx}+c_x-\frac{y_p\cot \theta }{dx}\\ v& =\frac{y_p}{dy\sin \theta }+c_y\end{array}⟺\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& -\frac{\cot \theta }{dx}& c_x\\ 0& \frac{1}{dy\sin \theta }& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]$$
于是
$$\begin{array}{rl}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]& =\frac{1}{z_c}\left[\begin{array}{ccc}\frac{1}{dx}& -\frac{\cot \theta }{dx}& c_x\\ 0& \frac{1}{dy\sin \theta }& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]\\ & =\left[\begin{array}{ccc}\frac{f}{dx}& -\frac{f\cot \theta }{dx}& c_x\\ 0& \frac{f}{d_y\sin \theta }& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\frac{x_c}{z_c}\\ \frac{y_c}{z_c}\\ 1\end{array}\right]\end{array}$$

畸变模型

为了获得好的成像效果，通常在相机的前方加上透镜。透镜的引入会对成像过程中光线的传播产生新的影响：一是透镜自身的形状会对光线的传播产生影响，二是在机械组装过程中，透镜和成像平面不完全平行，这也会֯得光线穿过透镜投影到成像面时的位置发生变化。
由透镜形状引起的畸变称为径向畸变 。在针孔模型中，一条直线投影到像素平面上还是一条直线。可是，实际拍摄的照片中，摄像机的透镜往往使得真实环境中的一条直线在图片中变成了曲线。越靠近图像的边缘，这种现象越明显。由于实际加工制作的透镜往往是中心对称的，这使得不规则的畸变通常径向对称。它们主要分为两大类：桶形畸变和枕形畸变，如下图所示。
桶形畸变图像放大率随着与光轴之间的距离增加而减小，而枕形畸变则恰好相反。在这两种畸变中，穿过图像中心和光轴有交点的直线还能保持形状不变。
除了透镜的形状会引入径向畸变，由于在相机的组装过程中不能使透镜和成像面严格平行，所以也会引入切向畸变。

通常选用较为规则的图形例如黑白棋盘格进行相机标定，标定效果较好。使用OpenCV中摄像机标定的相关函数定得出相机内参数$c_x,c_y,f_x,f_y$以及畸变校正系数$k_1,k_2,k_3$。

对于径向畸变，可以用一个多项式函数来描述畸变前后的坐标变化：这类畸变可以用与距中心的距离有关的二次及高次多项式函数进行校正。考虑归一化平面上任意一点$\mathbf{p}$，其坐标为$[\bar{x},\bar{y}{]}^T$，是未校正的点的坐标，也可以写成极坐标的形式$[r,\theta {]}^T$，其中$r$表示点与坐标原点之间的距离，$\theta$表示与水平轴的夹角。
$$\begin{gathered} {\bar{x}}_{distorted}=\bar{x}(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \\ {\bar{y}}_{distorted}=\bar{y}(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \end{gathered}$$
其中$[{\bar{x}}_{distorted},{\bar{y}}_{distorted}{]}^T$是校正后的点的归一化坐标。上述校正模型中，对于畸变较小的图像中心区域，畸变校正主要是$k_1$起作用；对于畸变较大的边缘区域，主要是$k_2$起作用。对于切向畸变，可以使用另外的两个参数$p_1$，$p_2$来进行校正：
$$\begin{gathered} {\bar{x}}_{distorted}=\bar{x}+2p_1\bar{x}\bar{y}+p_2(r^2+2{\bar{x}}^2) \\ {\bar{y}}_{distorted}=\bar{y}+p_1(r^2+2{\bar{y}}^2)+2p_2\bar{x}\bar{y} \end{gathered}$$
联合上式，对于相机坐标系中的一点P$(x_c,y_c,z_c)$，能够通过5个畸变系数找到这个点在像素平面上的正确位置：

1. 将三维空间点投影到归一化图像平面。设它的归一化坐标为$[\bar{x},\bar{y}{]}^T$。
2. 对归一化平面上的点进行径向畸变和切向畸变校正。
   $$\{\begin{array}{l}{\bar{x}}_{distorted}=\bar{x}(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_1\bar{x}\bar{y}+p_2(r^2+2{\bar{x}}^2)\\ {\bar{y}}_{distorted}=\bar{y}(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2{\bar{y}}^2)+2p_2\bar{x}\bar{y}\end{array}$$
3. 将校正后的点通过内参数矩阵投影到像素平面，得到该点在图像上的正确位置。
   $$\{\begin{array}{l}u=f_x{\bar{x}}_{distorted}+c_x\\ v=f_y{\bar{y}}_{distorted}+c_y\end{array}$$

张正友标定法

张正友标定法利用棋盘格标定法，在得到一张标定板的图像之后，利用相应的图像检测算法得到每一个角点的像素坐标（u,v）。将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W=0，由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，可以计算得到每一个角点在世界坐标系下的物理坐标（U,V,W=0）。
利用每一个角点的像素坐标（u,v）和每一个角点在世界坐标系下的物理坐标（U,V,W=0），来进行相机的标定，获得相机的内外参矩阵、畸变参数。

1. 求解内参矩阵与外参矩阵的积
   $$\begin{gathered} Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}\frac{f}{dX}& -\frac{f\cot \theta }{dx}& u_0\\ 0& \frac{f}{dY\sin \theta }& v_0\\ 0& 0& 1\end{array}\right) \\ (R_1{R}_{2}T)\left(\begin{array}{c}U\\ V\\ 1\end{array}\right)=A\left(\begin{array}{c}{R}_1{R}_{2}T\end{array}\right)\left(\begin{array}{c}U\\ V\\ 1\end{array}\right) \end{gathered}$$
   对于不同的图片，内参矩阵A为定值；对于同一张图片，内参矩阵A，外参矩阵$(R_1{R}_{2}T)$为定值；对于同一张图片上的单点，内参矩阵A，外参矩阵$(R_1{R}_{2}T)$，尺度因子Z为定值。将$A(R_1{R}_{2}T)$记为矩阵H，H即为内参矩阵和外参矩阵的积，记矩阵H的三列为$(H_1{H}_2{H}_3)$,则有
   $$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z}H\left(\begin{array}{c}U\\ V\\ 1\end{array}\right)=\frac{1}{Z}\left[\begin{array}{c}{H}_{11}{H}_{12}{H}_{13}\\ H_{21}{H}_{22H_{32}}\\ H_{31}{H}_{32}{H}_{33}\end{array}\right]\left(\begin{array}{c}U\\ V\\ 1\end{array}\right)$$
   利用上式，消除尺度因子Z，可得：
   $$u=\frac{H_{11}U+H_{12}V+H_{13}}{H_{31}U+H_{32}V+H_{33}}$$
   $$u=\frac{H_{21}U+H_{22}V+H_{23}}{H_{31}U+H_{32}V+H_{33}}$$
   此处H是齐次矩阵，有8个独立未知元素。每一个标定板角点可以提供两个约束方程（u,U,V的对应关系，u,U,V的对应关系提供了两个约束方程），因此，当一张图片上的标定板角点数量等于4时，即可求得该图片对应的矩阵H。当一张图片上的标定板角点数量大于4时，利用最小二乘法回归最佳的矩阵H。
2. 求解内参矩阵
   已知矩阵H，接下来求解相机的内参矩阵A，利用约束条件线性求解内参矩阵A。
   假设存在
   $$B=A^{-T}{A}^{-1}$$
   式中，B为对称矩阵，基于绝对二次曲面原理求出B以后，再对B矩阵求逆，并从中导出内参矩阵A，再由A和单应矩阵H计算外参R和t。
3. 最大似然估计
   采用最大似然准则优化上述参数。

张正友标定法