Step4：从单应矩阵中分离得到内参和外参（需要拍摄n>=3张标定图片）

摘要：

每张图片有m个棋盘格角点，m≥4.----------->用于获得单应矩阵
需要拍摄n张标定图片，n≥3------------------->用于从单应矩阵中分离得到内参和外参

问题：如何从H中，分离内参和外参？

思路：利用旋转向量的约束关系

推导：

根据《单应矩阵与四点标定》，
$$H=K\cdot \left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& T\end{array}\right]=\left[\begin{array}{ccc}{\mathbf{h}}_1& {\mathbf{h}}_2& {\mathbf{h}}_3\end{array}\right]$$
其中${\mathbf{h}}_1,{\mathbf{h}}_2,{\mathbf{h}}_3$表示单应矩阵的列向量。矩阵运算得到
$$\begin{gathered} {\mathbf{r}}_1=\lambda M^{-1}{h}_1 \\ {\mathbf{r}}_2=\lambda M^{-1}{h}_2 \\ \mathbf{t}=\lambda M^{-1}{h}_3 \end{gathered}$$
根据$r_1,r_2$的正交，一个单应矩阵H得到两个约束条件：

• 旋转向量点积=0（两垂直平面上的旋转向量相互垂直），$r_1^T{r}_2=0$
• 旋转向量长度相等（旋转不改变尺度)，$||r_1||=||r_2||=1$

对于内参矩阵，令$B=(K^{-1}{)}^T{K}^{-1}$，分析得B为3*3对称矩阵，真正有用的元素为6，带入约束条件得：

• ${{\mathbf{h}}_1}^{T}B{\mathbf{h}}_2=0$
• ${{\mathbf{h}}_1}^{T}B{\mathbf{h}}_1={{\mathbf{h}}_2}^{T}B{\mathbf{h}}_2$

定义第i列列向量：
$${\mathbf{h}}_{\mathbf{i}}={\left[\begin{array}{ccc}{h}_{i1}& h_{i2}& h_{i3}\end{array}\right]}^T$$

则
$${{\mathbf{h}}_{\mathbf{i}}}^{T}B{\mathbf{h}}_{\mathbf{j}}=v_{ij}^{T}b$$

其中
$$v_{ij}=\left[\begin{array}{c}{h}_{i1}{h}_{j1}\\ h_{i1}{h}_{j2}+h_{i2}{h}_{j1}\\ h_{i2}{h}_{j2}\\ h_{i3}{h}_{j1}+h_{i1}{h}_{j3}\\ h_{i3}{h}_{j2}+h_{i2}{h}_{j3}\\ h_{i3}{h}_{j3}\end{array}\right]，b=\left[\begin{array}{c}{B}_{11}\\ B_{12}\\ B_{22}\\ B_{13}\\ B_{23}\\ B_{33}\end{array}\right]$$

则约束条件可以表示为：

$$\left[\begin{array}{c}{v}_{12}^T\\ v_{11}^T-v_{22}^T\end{array}\right]b=0$$
如果n张不同角度的标定图片，每张图片得到2个等式，矩阵vij可以通过单应矩阵得到，b中有6个位置元素，所以至少需要图片数n>=3

得到矩阵B之后，容易得到内参$f_x,f_y,u_0,v_0,\gamma ，\lambda$，从而得到外参 $r_1,r_2,r_3,t$

小结：

每张图片有m个棋盘格角点，m≥4.----------->用于获得单应矩阵
需要拍摄n张标定图片，n≥3------------------>用于从单应矩阵中分离得到内参和外参

参考资料

计算机视觉life公众号，作者：sixgod《从零开始学习 【张氏相机标定法】》系列