基于RGBD深度相机的室内稠密三维重建

基于BundleFusion的室内稠密三维重建

基于RGBD深度相机的室内稠密三维重建_第1张图片
方法的核心是一种高效的全局位姿优化算法,它与大规模、实时的三维重建框架协同工作,参见上图。在每一帧中,不断进行位姿优化,并根据新计算的位姿估计更新重构。该方法不严格依赖于时间的一致性,允许自由形式的相机路径,瞬时的重新定位,和频繁的重新访问相同的场景区域。这使得方法对传感器遮挡,快速帧对帧运动和无特征区域鲁棒。

1、输入和输出

输入:RGB-D相机采集的对齐好的color+depth的数据流,论文中使用的是structure sensor+iPad输出的30Hz,分辨率为640x480的序列图像。
输出:重建好的三维场景。

2、特征匹配

为了获得全局对齐,执行了一个先稀疏后密集(sparse-then-dense)的全局位姿优化:使用一组稀疏特征(SIFT特征)对应来获得粗全局对齐,因为稀疏特征本身就提供了环路闭合检测和重新定位。然后通过优化致密光度和几何一致性来细化校准。
基于RGBD深度相机的室内稠密三维重建_第2张图片

3、位姿优化

为了使实时全局位姿对准易于处理,使用了一种分层的local-to-global 的优化方法。在第一级层次上,每个连续的n帧组成一个块,该块在考虑其包含的帧的情况下进行局部姿态优化。在第二级层次结构中,所有块相互关联并全局优化。它类似于分级子映射。然而,我们的新方法不是在所有帧可用时分析全局连通性,而是基于当前的时间窗口形成块。请注意,这是我们唯一的暂时假设;块之间没有时间依赖性。

分层两阶段优化策略减少了每个优化步骤的未知量,保证了方法可扩展到大场景。两个水平上的姿态对准被表述为能量最小化问题,其中考虑了滤波稀疏等对应关系,以及稠密的光度和几何约束。为了在两个层次上解决这个高度非线性的优化问题,我们使用了一个为这个问题量身定制的快速数据并行gpu求解器。
基于RGBD深度相机的室内稠密三维重建_第3张图片

4、稠密场景重建

利用稀疏体表示和融合,得到了可实时扩展到大场景的密集场景重建。优化全局姿态的持续变化需要全局3D场景表示的持续更新。个关键的点在于模型的对称型更新:若要增加更新的一帧估计,需先去掉旧的一帧,然后在新的位姿处重新整合。这样理论上来说,随着帧越来越多,模型会越来越精确。

5、室内重建效果

使用RealSense结构光相机结合在win10环境下对办公室实时稠密三维重建,效果如下:

你可能感兴趣的:(SLAM,三维重建,计算机视觉,人工智能,3d)