基本矩阵的基本解法之8点算法

归一化8点算法

基本矩阵是由下述方程定义：
$${\mathbf{x}}^{\prime T}F\mathbf{x}=0$$
　　其中$\mathbf{x}\leftrightarrow {\mathbf{x}}^{\prime }$是两幅图像的任意一对匹配点。由于每一组点的匹配提供了计算$F$系数的一个线性方程，当给定至少$7$个点（$3\times 3$的齐次矩阵减去一个尺度，以及一个秩为$2$的约束），方程就可以计算出未知的$F$。我们记点的坐标为$\mathbf{x}=(x,y,1{)}^T$，${\mathbf{x}}^{\prime }=(x^{\prime },y^{\prime },1{)}^T$，则对应的方程为
$$\left[\begin{array}{ccc}x& y& 1\end{array}\right]\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right]\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=0$$
　　展开后有
$$x^{\prime }x{f}_{11}+x^{\prime }y{f}_{12}+x^{\prime }{f}_{13}+y^{\prime }x{f}_{21}+y^{\prime }y{f}_{22}+y^{\prime }{f}_{23}+x{f}_{31}+y{f}_{32}+f_{33}=0$$
　　把矩阵$F$写成列向量的形式，则有：
$$\left[\begin{array}{ccccccccc}{x}^{\prime }x& x^{\prime }y& x^{\prime }& y^{\prime }x& y^{\prime }y& y^{\prime }& x& y& 1\end{array}\right]\mathbf{f}=0$$
　　给定$n$组点的集合，我们有如下方程：
$$A\mathbf{f}=\left[\begin{array}{ccccccccc}{x}_1^{\prime }{x}_1& x_1^{\prime }{y}_1& x_1^{\prime }& y_1^{\prime }{x}_1& y_1^{\prime }{y}_1& y_1^{\prime }& x_1& y_1& 1\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ x_n^{\prime }{x}_n& x_n^{\prime }{y}_n& x_n^{\prime }& y_n^{\prime }{x}_n& y_n^{\prime }{y}_n& y_n^{\prime }& x_n& y_n& 1\end{array}\right]\mathbf{f}=0$$
　　如果存在确定（非零）解，则系数矩阵$A$的自由度最多是$8$。由于$F$是齐次矩阵，所以如果矩阵$A$的自由度为$8$，则在差一个尺度因子的情况下解是唯一的。可以直接用线性算法解得。

如果由于点坐标存在噪声则矩阵$A$的自由度可能大于$8$（也就是等于$9$，由于$A$是$n\times 9$的矩阵）。这时候就需要求最小二乘解，这里就可以用SVD来求解，$\mathbf{f}$的解就是系数矩阵$A$最小奇异值对应的奇异向量，也就是$A$奇异值分解后$A=UD{V}^T$中矩阵$V$的最后一列矢量，这是在解矢量$\mathbf{f}$在约束$\Vert \begin{array}{c}\mathbf{f}\end{array}\Vert$下取$\Vert \begin{array}{c}A\mathbf{f}\end{array}\Vert$最小的解。以上算法是解基本矩阵的基本方法，称为8点算法。

由于基本矩阵有一个重要的特点就是奇异性，$F$矩阵的秩是$2$。如果基本矩阵是非奇异的，那么所计算的对极线将不重合。所以在上述算法解得基本矩阵后，会增加一个奇异性约束。最简便的方法就是修正上述算法中求得的矩阵$F$。设最终的解为$F^{\prime }$，令$det{F}^{\prime }=0$下求得Frobenius范数（二范数）$\Vert \begin{array}{c}F-F^{\prime }\end{array}\Vert$最小的$F^{\prime }$。这种方法的实现还是使用了SVD分解，若$F=UD{V}^T$，此时的对角矩阵$D=diag(r,s,t)$，满足$r\ge s\ge t$，则$F^{\prime }=Udiag(r,s,0)V^T$最小化范数$\Vert \begin{array}{c}F-F^{\prime }\end{array}\Vert$，也就是最终的解。

所以8点算法由下面两个步骤组成：

1. 求线性解 由系数矩阵$A$最小奇异值对应的奇异矢量$\mathbf{f}$求的$F$。
2. 奇异性约束 是最小化Frobenius范数$\Vert \begin{array}{c}F-F^{\prime }\end{array}\Vert$的$F^{\prime }$代替$F$。

8点算法是计算基本矩阵的最简单的方法。为了提高解的稳定性和精度，往往会对输入点集的坐标先进行归一化处理。在MVG的估计一章中推荐各向同性归一化，OpenCV的8点算法也是使用了各向同性，也就是使得各个点做平移缩放之后到坐标原点的均方根距离等于$\sqrt{2}$。非各向同性归一化和各向同性归一化在论文In Defense of the Eight-Point Algorithm中有讨论，ORB-SLAM2单目初始化F矩阵计算之前的归一化使用的是非各向同性归一化。对于归一化八点算法的总结如下：

给定$n\ge 8$组对应点$\{{\mathbf{x}}_{\mathbf{i}}\leftrightarrow {\mathbf{x}}_{\mathbf{i}}^{\prime }\}$，确定基本矩阵$F$使得${\mathbf{x}}_i^{\prime T}F{\mathbf{x}}_i=0$

算法：

1. 归一化：根据$\widehat{{\mathbf{x}}_i}=T{\mathbf{x}}_i$，$\widehat{{\mathbf{x}}_i^{\prime }}=T^{\prime }{\mathbf{x}}_i^{\prime }$，变换图像坐标。其中$T$和$T^{\prime }$是有平移和缩放组成的归一化变换。、
2. 求解对应匹配的基本矩阵${\hat{F}}^{\prime }$
   • 求线性解：用由对应点集$\{\widehat{{\mathbf{x}}_{\mathbf{i}}}\leftrightarrow \widehat{{\mathbf{x}}_{\mathbf{i}}^{\prime }}\}$确定的系数矩阵$\hat{A}$的最小奇异值的奇异矢量确定$\hat{F}$。
   • 奇异性约束：用SVD对$\hat{F}$进行分解，令其最小奇异值为$0$，得到${\hat{F}}^{\prime }$，使得$det{\hat{F}}^{\prime }=0$。
3. 解除归一化：令$F=T^{\prime T}{\hat{F}}^{\prime }T$。矩阵$F$就是数据${\mathbf{x}}_{\mathbf{i}}\leftrightarrow {\mathbf{x}}_{\mathbf{i}}^{\prime }$对应的基本矩阵。

我是用了SIFT对两个图像进行特征提取以及匹配，然后使用归一化8点算法进行基本矩阵的求解，并且把两个视图的对极线都画出。下图为SIFT匹配图以及对极线：

　　由于两幅图像在匹配的时候有不少错误的匹配，所以计算的基本矩阵有较大的误差。看第二幅图，左右视图中都可以发现很多的点在对极线附近但并没有完全落在对极线上。我们可以观察到左右视图的对极线都响应地汇聚到一点，那点就是极点。这一对匹配中极点都落在图像内，当然也有些情况对极线会落在图像外，比如下图

具体的代码实现见Github

参考

• Multiple View Geometry in Computer Vision,Second Edition

• ORB-SLAM2单目初始化F矩阵计算

• OpenCV 3.1.0基本矩阵8点算法

• In Defense of the Eight-Point Algorithm