基于2D标定物的标定方法,原理与基于3D标定物相同,只是通过相机对一个平面进行成像,就可得到相机的标定参数,由于标定物为平面,本身所具有的约束条机,相对后者标定更为简单。经典算法为Z. Zhang(PAMI, 2000) A Flexible New Technique for Camera Calibration。其算法已经被收入Opencv(2004),最常用的标定图案是棋盘格图案,如下图:
对于2D标定平面,抑或称为标定板,不妨假设,平面上点的增广齐次向量 [X,Y,Z,1] 满足 Z=0 ,同时对于旋转矩阵 R 的每一列表示为一个列向量记为 ri ,则根据相机的投影方程:
因为点 [X,Y]T 仍表示的是三维空间点坐标,只是由于标定使用平面的特殊性,将 Z=0 省略,因此我们仍然使用统一的 M 符号表示,与其对应 M~=[X,Y,1]T 表示该点的其次向量,则公式 (1) 可简记为:
H 被称为单应性矩阵(Homography matrix)。
对于单应性矩阵 H ,我们也将其按照列向量的方式表示: H=[h1 h2 h3] , 则有:
其中, λ 是一个任意的系数,因为 r1,r2 是正交向量,因此有:
对于一个单应性矩阵,公式 (4,5) 是两个内参的基本约束。单应性矩阵有9个元素,但可以由8个独立不相关的元素表示,也就是说投影变换有8个自由度,而我们只有6个外参元素(3个旋转元素和3个平移元素),因此两个内参约束条件的意义就在于此。在原理简介(三)中,我们已经了解到 A−TA−1 描述的就是IAC(Image of the absolute conic),后文将对此进行解释。
现在让我们来分析公式 (4,5) 与绝对圆锥曲线的关系。在像空间坐标系中,存在下面的等式:
当 w=0 时就是我们前面解释的改点位于无穷远处。我们想象标定板所在平面与该无穷远处平面相交于一点,则点 [r10] 和 [r20] 是相交直线上的两个特殊点,线上的其他点都可以用这两个点线性表示:
现在让我们看一下上述的交线和绝对圆锥曲线的交点,原理简介(三)已经介绍点 x∞ 满足: xT∞x∞=0 ,也即 (ar1+br2)T(ar1+br2)=0 ⇒ a2+b2=0 ( r1 与 r2 正交)。因此 b=±ai, 其中i2=−1 ,公式 (7) 可写为:
其在图像中的投影点为:
因为点 m∞ 位于IAC上,有:
因此等式 (10) 左边的实部与虚部都为0,也就是公式 (4,5) 这两条约束条件。
现在开始讲解如何高效求解本方法的相机标定问题。做法是,首先获得分析解,然后初始估计值基于最大似然准则进行非线性优化,这些都将逐步进行讲解。
令:
因此可以看出, B 是一个对称矩阵,由六个元素组成:
对于 H=[h1,h2,h3] 的第 i 列记为: hi=[hi1,hi2,hi3]T ,则有:
其中, vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T 。因此,对于公式 (4,5) 可以表达为齐次方程:
如果采集了 n 张图像,可以列出方程组:
其中, V 是一个 2n×6 的矩阵。如果 n⩾3 ,一般就能获得 b 的唯一解;如果 n=2 ,我们可以利用偏斜度 γ=0 的约束条件,将 [0,1,0,0,0,0]b=0 添加到方程组 (15) 中;如果 n=1 那么就只能获得相机的内参。
一旦 b 确认后,就可以获得相机内参。将公式 (11) 中的矩阵 B 添加一个任意系数: B=λA−TA ,可得到:
内参矩阵获得后,根据公式 (2) 外参也就很快就可以得到:
其中, λ′=1/∥A−1h1∥=1/∥A−1h2∥ 。
由于噪声的存在,这样求解的矩阵 R 一般并不具备旋转矩阵的特性,更好的求解方法是通过奇异值分解的方法,可以参考Z. Zhang的论文。
与基于3D标定物的优化方法类似,这里仍然使用最大似然法进行优化,也就是基于噪声是不相关且独立分布的的假设,对于 n 张图像,其中包含 m 个点,优化方程为:
其中, m^(A,Ri,ti,Mj) 是三维点 Mj 在图像 i 中的投影点。非线性优化过程是,首先需要获得内参矩阵 A 的估算值,然后利用上面的描述的求解方法,获得 {Ri,ti|i=1,…,n} ,利用LM迭代优化方法,使得公式 (23) 的求和最小化。
在原理简介(四)4.6中已经对镜头畸变模型进行了讲解,这里与之原理一样。以径向畸变为例,为了获得较为理想准确的像点坐标值,则有方程:
同样当 m 个点在 n 张图像中时,可以组成方程组 Dk=d ,其中 k=[k1k2] ,其线性最小二乘解为:
当获得 (k1,k2) 后,我们就可以将公式 (23) 的非线性优化调整为:
1 打印出一张标定图并贴到一个平面上;
2 通过移动相机或者标定平面采集不同位置、不同方向的标定板图像;
3 特征点检测;
4 估算内参(公式 (16−21) ),然后通过闭合解得到外参(公式 (22) );
5 通过最小二乘线性估算畸变系数;
6 使公式 (26) 的代数和最小,优化所有参数。