基于图像点特征的多视图三维重建

基于图像点特征的多视图三维重建大致分成四步：一.图像特征点描述 ；二.图像特征点匹配；

三.基于图像的稀疏三维重建；四.多视图稠密匹配与三维重建

一.图像特征点描述：

为描述所检测到的图像特征点，通常提取特征点周围的一块区域，并利用特征向量来描述该区域作为特征描述符。在某些特定拍摄条件下（如已矫正的立体像对），像素对应在各图像中的坐标仅在水平方向上有差异。在这种情况下，可使用搜索窗口内的像素差异平方和(Sum of squared differences,SSD),归一化互相关性(hormalized cross-correlation,NCC)等误差测度来计算特征点周围区域的相似度。

二.图像特征点匹配

一种方法：特征匹配旨在确立特征之间的对应关系，最简单的是直接比较描述符之间的欧式距离，然后选取距离小于一定阈值的特征匹配作为图像对应。

        另一种方法：通过在特征空间中搜索最近邻来确定匹配关系。由于有的特征可能不存在对应，因此人需要设置阈值来剔除误匹配。在有充足训练数据的情况下，不同特征的阈值可通过学习获得；在训练数据不可得的情况下，通常采用距离比测试来剔除大部分误匹配。

在高维特征空间中搜索候选匹配时，广泛使用的索引结构是多维搜索树。Muja和Lowe对这类方法进行了对比研究，并提出一种基于层次K均值树的优先搜索策略。在高维近似最近邻搜索问题中，多随机k-d树的性能最优。为了进一步剔除候选匹配中的误匹配，需要采用几何验证。

具体来说，通常在随机采样一致(random sample consensus,RANSAC)算法中估计两视图间的基本矩阵，通过计算图像匹配与基本矩阵的拟合程度来剔除误匹配。对于各图像中的每个特征点，采用深度优先搜索找到它在其他图像中的对应，由此获得的多个视图间的对应称为特征轨迹。

三.基于图像的稀疏三维重建

1) 相机定标：一是利用定标物体上对各三维坐标点与其在图像平面上的投影坐标之间的约束关系来求解相机参数（可获得较高精度的相机参数估计）；二是自定标。该方法不仅不需要定标物体，还不需要任何场景的先验知识，顾客满足更多实际应用的需求。绝对二次曲线(AC)及其对偶(DAC)成像的不变性，证明了两幅图像之间存在两个形如kruppa方程的二次非线性约束，利用三幅图像可实现内部参数不变的相机自定标。但，kruppa方程的解对噪声非常敏感，且解的个数随图像数量的增加以指数方式增长，限制了其在许多实际场合的应用。

2) SFM：在相机内部参数已知的情况下，同时恢复相机的外部参数和三维场景结构的过程。为缓解SFM计算效率低下问题，第一种方案是利用现代图形处理单元GPU或者计算机集群的强大计算能力加速SFM中从图像匹配(SIFT)到集束优化(Bundle Adjustment)等各处理阶段。第二种方案是从数据组织和重建策略上改进SFM技术。

四.多视图稠密匹配与三维重建

第一类算法首先在三维体积中计算某种代价函数，然后从此三维体积中抽取物体的表面模型。此外，许多算法定义一个体积马尔可夫随机场(MRF)，并采用最大流或者多路图割方法来提取最优的三维模型表面。

第二类算法通过迭代的表面进化来最小化某种代价函数。这类方法中几何体的表现形式可为体素(voxel)，水平集(level-set)和多边形网格(mesh)等形式。空间雕刻(space carving)及其变种也属于这一类算法，它们从初始体积重渐进剔除不一致的体素。

第三类算法利用基于图像空间的方法计算一系列深度图（通常每幅输入图像对应一副深度图）。为确保所有深度图所表达的三维场景的一致性，该类方法在深度图上施加一致性约束，或者在后处理阶段融合多幅深度图信息创建完整的三维场景。

第四类算法直接通过图像特征提取和匹配来获得图像对应，然后建立场景的稠密或者准稠密三维点云，最后从稠密三维点云中重建三维表面模型（目前总体性能最好）。