计算机视觉之三维重建——第四章：三维重建基础与极几何《深入浅出sfm和SLAM核心算法 (鲁鹏)》

第四章：三维重建基础与极几何

由于从单幅视图恢复场景三维结构比较困难，并且，单视图2D到3D的映射具有多义性，如下图所示，从单视图中很难辨别塔是模型还是实物；

1. 双视图与三角化

只要已知直线$l$和$l^{\prime }$，则三维点P就是两条直线的交点。因此，只要将直线$l$和$l^{\prime }$映射到同一坐标系下，就可以通过$P=l\times l^{\prime }$求出点$P$的三维坐标。

此时，问题演变成了：
已知二维像素坐标 $p$ 和 $p^{\prime }$，$K$ 和 $K^{\prime }$，以及两视图之间的变换矩阵$R$、$T$，
求解P点的三维坐标？

此时存在两种解法：线性解和非线性解；

1.1 线性解

1.2 非线性解

最小化重投影误差

1.3 实际情况中的问题定义

• 在实际情况中，由于噪声的存在，两条直线通常不相交；
• 且上述的线性解和非线性解都需要已知$K$ 和 $K^{\prime }$，$R$、$T$；
• 然而，实际情况中，摄像机的内参$K$ 和 $K^{\prime }$和两视图之间的变换矩阵$R$、$T$通常不可知，那么实际情况就变成了如下的问题：
  • 问题1：已知$p$和$p^{\prime }$，摄像机内参数$K$和$K^{\prime }$，
  • 求解：摄像机的$R$、$T$以及P点的三维坐标？
  • 问题2：已知$p$和$p^{\prime }$
  • 求解：摄像机内参数$K$和$K^{\prime }$，摄像机的$R$、$T$以及P点的三维坐标？

1.4 多视图几何的关键问题

• 摄像机几何：从一张或者多张图像中求解摄像机的内、外参数；
• 场景几何：通过二至多幅图寻找3D场景坐标；
• 对应关系：已知一个图像中的$p$点，如何在另外一个图像中找到$p^{\prime }$点；

2. 极几何与基础矩阵

2.1 极几何

极几何描述了同一场景或者物体的两个视点图像间的几何关系；

极几何可以将对应点搜索范围缩小到对应的极线上；

（1）极几何特例——平行视图

（2）极几何特例——前向平移（无旋转）

2.2 本质矩阵

本质矩阵对规范化摄像机拍摄的两个视点图像间的极几何关系进行代数描述；

$p^{\prime }$和$O_2$在$O_1$坐标系下的坐标为：
$$\begin{array}{rl}{p}^{\prime }& =R{p}^{{}^{\prime }\ast }+T\\ p^{{}^{\prime }\ast }& =R^T(p^{\prime }-T)\\ & =R^T{p}^{\prime }-R^{T}T\end{array}$$
$$\begin{array}{rl}\because O_2& =[000{]}^T\\ O_2^{\ast }& =-R^{T}T\end{array}$$

对两个向量进行叉乘：
$$\begin{array}{rl}{O}_1{p}^{{}^{\prime }\ast }\times O_1{O}_2^{\ast }& =(R^T{p}^{\prime }-R^{T}T)\times (-R^{T}T)\\ & =R^{T}T\times R^T{p}^{\prime }\end{array}$$

得到的向量垂直于 $O_1{O}_{2}P$ 极平面，因此可得：
$$\begin{array}{rl}& [R^{T}T\times R^T{p}^{\prime }{]}^T\cdot p=0\\ & [R^T\cdot (T\times p^{\prime }){]}^T\cdot p=0\\ & (T\times p^{\prime }{)}^T\cdot R\cdot p=0\\ & ([T_{\times }]\cdot p^{\prime }{)}^T\cdot R\cdot p=0\\ & p^{{}^{\prime }T}\cdot [T_{\times }]\cdot R\cdot p=0\\ & p^{{}^{\prime }T}\cdot [T\times R]\cdot p=0\\ & p^{{}^{\prime }T}\cdot E\cdot p=0\end{array}$$

最终，本质矩阵$E=T\times R=[T_{\times }]R$

2.3 基础矩阵

基础矩阵对一般的透视摄像机拍摄的两个视点的图像间的极几何关系进行代数描述。

推导思路：将一般相机变换到规范化相机，用本质矩阵来表达；
$$\begin{array}{rl}p& =K[I0]P\\ K^{-1}p& =[I0]P\end{array}$$
则规范化相机下左右两视图的像素点坐标演变为：
$$\begin{array}{rl}{p}_c& =K^{-1}p\\ p_c^{{}^{\prime }}& =K^{{}^{\prime }-1}{p}^{\prime }\end{array}$$
带入本质矩阵：
$$\begin{array}{rl}{p}_c^{{}^{\prime }T}E{p}_c& =p_c^{{}^{\prime }T}\cdot [T_{\times }]R\cdot p_c\\ & =(K^{{}^{\prime }-1}{p}^{\prime }{)}^T\cdot [T_{\times }]R\cdot K^{-1}p\\ & =p^{{}^{\prime }T}{K}^{{}^{\prime }-T}[T_{\times }]R{K}^{-1}p\\ & =p^{{}^{\prime }T}Fp\end{array}$$

最终基础矩阵F为：
$$F=K^{{}^{\prime }-T}[T_{\times }]R{K}^{-1}$$

3. 基础矩阵估计

3.1 八点法

$$p^{{}^{\prime }T}Fp=0$$

F有7个自由度，理论上7点可以解出F，但计算比较复杂;

（1）单点方程矩阵形式展开：

（2）选取八个点，列出齐次线性方程：
（3）最小二乘求解：

通常$N>8$，为超定方程组，采用最小二乘求解：

（4）满秩矩阵分解：

上述经过最小二乘估计得到的$\hat{F}$通常秩为3，为满秩矩阵，但基础矩阵$F$的秩为2。

（5）八点法求解总结

（6）八点法存在的问题

• W矩阵中各个元素的数值差异过大；
• SVD分解有数值计算问题
• 导致求解结果通常有10+pixel左右的误差；

3.2 归一化八点法

对每幅图像施加变换T（平移与缩放），让其满足如下条件：

• 原点 = 图像上点的重心；
• 各个像点到坐标原点的均方根距离等于$\sqrt{2}$;

归一化八点法的计算步骤如下：

归一化八点法的精度高，推荐使用；

4. 单应矩阵

单应矩阵描述空间中的平面在两个摄像机下的投影几何；

4.1 单应矩阵推导

4.2 单应矩阵估计

4.3 单应矩阵性质