三维重建（7）--运动恢复结构SfM系统解析

目录

一、SfM系统（两视图）

1、特征提取

2、特征匹配

3、RANSAC求解基础矩阵F 

4、完整的欧式结构恢复算法流程

二、基于增量法的SfM系统（以OpenMVG为例）

1、预处理 

2、图像特征点提取与匹配

3、两视图重构点云

4、增加新视图，多视图重构

---

一、SfM系统（两视图）

        对于欧式结构恢复的两视图问题，需要获得三维场景的m张图像的像坐标作为已知条件，求解三维场景结构（即三维点坐标），m个摄像机的外参数R和T。所以现在的问题在于如何标注m张图像的像坐标的对应关系，将摄像机拍摄的照片转换成已知条件。

        图像的像坐标对应关系可以转换为特征提取和特征匹配两个部分。

1、特征提取

         特征提取：通过输入m张不同摄像机拍摄同一场景的图片，输出具有尺度不变性的特征点，即尺度不变特征转换（SIFT转换），

        SIFT算法特点：具有尺度不变性、能够适应旋转图像，改变图像亮度，移动拍摄位置的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。

        

        SIFT算法实现特征提取的流程：提取尺度不变的区域（高斯微分函数），进行尺寸归一化和旋转归一化，对特征点区域计算特征方向，进行两两比较找出相互匹配的若干对特征点，建立两个像平面之间特征点的对应关系。

2、特征匹配

        对于二视图的特征匹配而言，首先使用特征提取器对两幅图像进行特征提取，提取出的特征点可能不同，对于下图，假设我们找右图特征点在左图的对应点。

        首先，选择一个右图中的特征点i，并计算左图所有特征点的一个相似度度量（比如余弦相似度度量），并选择这其中top2距离小的两个左图特征点，并记录与特征点i之间的距离。

        计算距离比（指定小的数除以大的数），如果其小于某个给定阈值（如0.6），则认为右图特征点i与左图特征点是一对对应点，这步算法的设计，如果说较大，趋于1，则说明左图两个特征点之间较近，越说明左图两个特征点与右图特征点i建立的两组对应关系很难辨认，极为接近，所以我们不作为匹配对象，这更容易引入噪声。

        我们应该注意的是，特征匹配是为了后续求解基础矩阵F进行准备的。

3、RANSAC求解基础矩阵F 

         RANSAC求解基础矩阵的方法是对归一化八点法估计基础矩阵F的扩充，为了进一步去减少离群点和噪声，我们在求解基础矩阵时，可以使用RANSAC方法来充分排除离群点对求解基础矩F的干扰，提高估计的准确性和鲁棒性。

4、完整的欧式结构恢复算法流程

        对于欧式结构恢复问题，一般假设摄像机1与世界坐标系不存在旋转平移关系，即外参数为，摄像机2与世界坐标系存在R,T关系，即外参数为，换言之摄像机2与摄像机1之间存在关系。

        算法流程： 

（1）对应点计算（特征提取+特征匹配）

（2）求解基础矩阵F（RANSAC+归一化八点法）

（3）求解本质矩阵E

（4）分解本质矩阵

（5）三角化

二、基于增量法的SfM系统（以OpenMVG为例）

        基于增量法的SfM系统流程：图像特征点提取与匹配->两视图重构初始点云->增加视图到系统实现多视图重构

        算法流程如下： 

1、预处理 

        预处理工作：图像特征点提取与近邻匹配，基于RANSAC的基础矩阵或单应矩阵的估计。

为什么要估计基础矩阵的同时估计单应矩阵？

        由于我们不能确定所取的特征点在世界坐标系下有没有很多是同一平面的点，如果同一平面的点较多，那么使用单应矩阵的估计后去计算本质矩阵E的误差要小很多，受到噪声的影响也很小。所以利用RANSAC来估计基础矩阵和单应矩阵，如果単应矩阵求解更容易拟合则使用単应矩阵。

2、图像特征点提取与匹配

（1）计算对应点的轨迹t

        对应点的轨迹：多个像平面下对应特征点的连线，在OpenMVG中只保留关联至少三张图片的特征点的连线。

 （2）计算连通图G

        连通图：这里的连通图指的是以图片作为结点，两个图片之间匹配特征数量达到某一阈值则作为一条边，未达到阈值则不构成边。

3、两视图重构点云

（1）在G中选取一条边e

        在连通图G中的多条边里，选取一条特殊的边，这条边的两个节点对应的两个图像满足：这两个图像的对应点三角化时的射线夹角中位数不大于60度且不小于3度，此时能保证这两个摄像机即不会离的太近容易同时丢失太多信息，也不会离的过远而导致对应点对偏少。

（2）后续过程

        接下来的三步：鲁棒估计本质矩阵E，分解本质矩阵E，三角化，都是两视图重构的流程，在这里不再重复介绍。       

        删除G中的边e：这一步也很好理解，由于我们使用了这个边进行两视图重构，那么后续将不再用这条边。

4、增加新视图，多视图重构

        当G中存在其他边时，进行多视图重构。

        选择一条G中的边e，满足该边的track（e）∩ {已重建3D点}最大化，即这条边所关联的两个图像的对应点对，为所有剩余边中最大的，优先选择该边。

        用PnP方法，对边e所对应两个图像中，未进行重建摄像机位姿的图像一方进行重建摄像机位姿。

        然后，三角化新的tracks，删除G中的边e，并执行捆绑调整操作。

        每一次引入新的视图，将执行一次捆绑调整操作，可以对世界坐标的三维点进行不断拟合。

Reference：https://www.bilibili.com/video/BV1DQ4y1e7x6/?spm_id_from=333.999.0.0&vd_source=2152dec20715e478285cc87cc31201ed