多视图几何总结——单应矩阵和基础矩阵的兼容关系

多视图几何总结——单应矩阵和基础矩阵的兼容关系

这应该是多视图几何里面最后一篇总结了吧，在书中用一整章的篇幅介绍了平面单应（单应矩阵）和对极几何（基础矩阵）之间的关系，相对是比较复杂的，好几次绕晕我了…如下图

图中$x$和$x^{\prime }$的关系可以有两种描述方式
第一种：通过对极几何一幅视图中的一点$x$可以确定另一幅视图中的一条直线，它是通过$x^{\prime }$的一条射线
第二种：通过平面$\pi$确定了一个单应$H$，使得通过一个$x$可以确定另一幅视图中的点$x^{\prime }$（$x$和$x_{\pi }$是可以通过单应联系起来，$x‘$和$x_{\pi }$同理，那么$x$和$x’$也是可以通过单应联系的）

（1）单应矩阵和基础矩阵的兼容性

结论一：给定两幅视图的投影矩阵$$\mathrm{P}=[\mathrm{I}|0]{\mathrm{P}}^{\prime }=[\mathrm{A}|\mathrm{a}]$$和由${\mathbf{\pi }}^{\top }\mathbf{X}=0$定义的一张平面，其中$\mathbf{\pi }={\left({\mathbf{v}}^{\top },1\right)}^{\top }$，则由这个平面诱导的单应是${\mathbf{x}}^{\prime }=\mathrm{H}\mathrm{x}$，其中$$\mathrm{H}=\mathrm{A}-\mathrm{a}{\mathrm{v}}^{\mathrm{T}}$$ 解释：这个看起来可能不太直观，《视觉SLAM十四讲》其实给了相应的推导，现在假定两幅图中有一对匹配好的特征点$p_1$和$p_2$，然后这两个特征点对应的空间点在满足下面方程的平面上：$${\mathbf{n}}^T\mathbf{P}+d=0$$结合对极几何的变换关系有$$\begin{array}{rl}{\mathbf{p}}_2& =\mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})\\ & =\mathbf{K}\left(\mathbf{R}\mathbf{P}+\mathbf{t}\cdot \left(-\frac{{\mathbf{n}}^T\mathbf{P}}{d}\right)\right)\\ & =\mathbf{K}\left(\mathbf{R}-\frac{\mathbf{t}{\mathbf{n}}^T}{d}\right)\mathbf{P}\\ & =\mathbf{K}\left(\mathbf{R}-\frac{\mathbf{t}{\mathbf{n}}^T}{d}\right){\mathbf{K}}^{-1}{\mathbf{p}}_1\end{array}$$及$${\mathbf{p}}_2=\mathbf{H}{\mathbf{p}}_1$$这和我们结论中的${\mathbf{x}}^{\prime }=\mathbf{H}\mathbf{x}$是一致的。

结论二：一个单应$H$和一个基本矩阵$F$相容的充要条件是矩阵$H^{T}F$是反对称的$${\mathrm{H}}^{\top }\mathrm{F}+{\mathrm{F}}^{\mathrm{T}}\mathrm{H}=0$$

我们知道四对点可以确定一个单应矩阵，如果这四对点是有空间中一个平面上的四个空间点在两幅视图中生成的图像点，则通过这四个点计算的单应矩阵$H$和基础矩阵$F$满足：$$(\mathrm{H}\mathrm{x}{)}^{\mathrm{T}}\mathrm{F}\mathrm{x}={\mathrm{x}}^{\top }{\mathrm{H}}^{\top }\mathrm{F}\mathrm{x}=0$$

（2）基础矩阵 —> 单应矩阵

这里我们拥有的已知条件是：两幅视图中的基础矩阵和匹配好的三个点，且这三个点的单应和对极几何是相容的，要求的是：这三个点之间的单应。
这里有两种方法：
第一种：在射影重构下恢复三个点的空间点，然后求出由这三个空间点构成的空间平面，然后通过上述的结论一求得单应。
第二种：通过四个点可以直接求得单应，这四个点分别是已知的三个匹配点和对极点（对极点可以通过求另外一个相机的空间点坐标在视图上的投影获得）
在书中将第一种方法称为显式，第二种方法称为隐式，并且显式方法比隐式方法好，因为在隐式方法中，如果四个点中三个共线的话就会发生求解失败的情况。

（3）单应矩阵 —> 基础矩阵

如下图所示：给定点${\mathbf{x}}^{\prime }$,通过点${\mathbf{x}}^{\prime }$和对极点${\mathbf{e}}^{\prime }$的对极线${\mathbf{l}}^{\prime }$可以记为${\mathbf{l}}^{\prime }={\mathbf{e}}^{\prime }\times {\mathbf{x}}^{\prime }={\left[{\mathbf{e}}^{\prime }\right]}_{\times }{\mathbf{x}}^{\prime }$，因为${\mathbf{x}}^{\prime }$可以记为${\mathbf{x}}^{\prime }={\mathrm{H}}_{\pi }\mathbf{x}$，因此我么可以获得$${\mathrm{l}}^{\prime }={\left[{\mathbf{e}}^{\prime }\right]}_{\times }{\mathrm{H}}_{\pi }\mathbf{x}=\mathrm{F}\mathrm{x}$$就得到了我们想要的$\mathrm{F}={\left[{\mathrm{e}}^{\prime }\right]}_{\times }{\mathrm{H}}_{\pi }$

然后书中提供了一种六个点解基础矩阵的方法，如下:

要求给定的六组点中有四组是位于同一平面上的，另外两组点是不位于同一平面上，其方法其实很简单，就是先利用共面的四组点求得单应${\mathbf{x}}_i^{\prime }={\mathrm{H}\mathrm{x}}_i,i\in \{1,\dots ,4\}$，然后利用$\left({\mathrm{H}\mathrm{x}}_5\right)\times {\mathrm{x}}_5^{\prime }$和$\left({\mathrm{H}\mathrm{x}}_6\right)\times {\mathrm{x}}_6^{\prime }$两条直线的角点求得对极点$e^{\prime }$，然后利用上面的结论$\mathrm{F}={\left[{\mathrm{e}}^{\prime }\right]}_{\times }{\mathrm{H}}_{\pi }$求得基础矩阵。

这里有一个很有意思的发现，在没有约束的求解中，根据自由度计算，求解单应矩阵最少需要四组点，求得基础矩阵最少需要七组点，但是在单应矩阵和基础矩阵兼容的前提下，他们计算的最少点组数变成了三和六，需要的点更少了

这一节感觉知识点比较散乱，先总结到这儿了，欢迎交流