基于RGBD深度相机的室内稠密三维重建

基于BundleFusion的室内稠密三维重建

方法的核心是一种高效的全局位姿优化算法，它与大规模、实时的三维重建框架协同工作，参见上图。在每一帧中，不断进行位姿优化，并根据新计算的位姿估计更新重构。该方法不严格依赖于时间的一致性，允许自由形式的相机路径，瞬时的重新定位，和频繁的重新访问相同的场景区域。这使得方法对传感器遮挡，快速帧对帧运动和无特征区域鲁棒。

1、输入和输出

输入：RGB-D相机采集的对齐好的color+depth的数据流，论文中使用的是structure sensor+iPad输出的30Hz，分辨率为640x480的序列图像。
输出：重建好的三维场景。

2、特征匹配

为了获得全局对齐，执行了一个先稀疏后密集（sparse-then-dense）的全局位姿优化：使用一组稀疏特征（SIFT特征）对应来获得粗全局对齐，因为稀疏特征本身就提供了环路闭合检测和重新定位。然后通过优化致密光度和几何一致性来细化校准。

3、位姿优化

为了使实时全局位姿对准易于处理，使用了一种分层的local-to-global 的优化方法。在第一级层次上，每个连续的n帧组成一个块，该块在考虑其包含的帧的情况下进行局部姿态优化。在第二级层次结构中，所有块相互关联并全局优化。它类似于分级子映射。然而，我们的新方法不是在所有帧可用时分析全局连通性，而是基于当前的时间窗口形成块。请注意，这是我们唯一的暂时假设;块之间没有时间依赖性。

分层两阶段优化策略减少了每个优化步骤的未知量，保证了方法可扩展到大场景。两个水平上的姿态对准被表述为能量最小化问题，其中考虑了滤波稀疏等对应关系，以及稠密的光度和几何约束。为了在两个层次上解决这个高度非线性的优化问题，我们使用了一个为这个问题量身定制的快速数据并行gpu求解器。

4、稠密场景重建

利用稀疏体表示和融合，得到了可实时扩展到大场景的密集场景重建。优化全局姿态的持续变化需要全局3D场景表示的持续更新。个关键的点在于模型的对称型更新：若要增加更新的一帧估计，需先去掉旧的一帧，然后在新的位姿处重新整合。这样理论上来说，随着帧越来越多，模型会越来越精确。

5、室内重建效果

使用RealSense结构光相机结合在win10环境下对办公室实时稠密三维重建，效果如下：