LODM：无人机大规模在线密集测绘

基于相机的三维在线密集重建是计算机视觉领域的一个具有挑战性的问题。目前，基于不同种类相机的方法有很多，其中大多数是基于深度相机或双目相机。但是，基于单目相机的方法相对较少。与深度相机和双目相机相比，我们在日常生活中可以轻松获得单目相机，但使用单目重建是最困难的。主要原因是单目摄像头无法直接获取环境的深度信息，因此算法需要通过图像序列来估计场景。此外，仅通过单目相机无法获得比例信息。

结合多视角立体（MVS）和同步定位映射（SLAM）技术，我们提出了一种面向大规模室外场场的单目在线密集重建方法。通过结合GPS信息来恢复比例，并使用SLAM的稀疏几何先验信息来构建缩放的3D世界。图1显示了我们算法的重建效果，在这个大场景中我们可以在线重建，并且可以有很好的细节。

图1 LODM是一种针对大规模室外场的单目在线密集重建方法。我们的系统可以准确地重建一些地面细节，例如屋顶和地面树木的倾斜角度。右下角的绿色框是卫星地图，我们的方法与卫星地图重合

我们提出的大规模测绘方法包括三部分：视觉-GPS里程表，使用CVA-MVSNet进行基于置信度的深度估计，密集测绘，图2显示了系统的概述。视觉测程前端使用网络输出的图像和深度图输出姿势，并利用GPS恢复比例。SCCVA-MVSNET网络利用前端滑动窗口中的帧和稀疏点进行深度恢复。3D重建过程使用后端优化的姿态，融合每个关键帧的深度图，生成密集的3D点云图。

图2 前端使用图像和GPS生成缩放的初始姿势，并从网络接收深度图;SCCVA-MVSNet使用来自前端滑动窗口的信息来恢复最新帧的深度;后端使用GPS进一步优化前端姿势;融合模块利用后端的姿态和网络输出的深度图来融合最终的点云图

视觉-全球定位系统里程计

我们扩展了LDSO ，使用GPS将实际比例提供给作为前端的DSO，并在优化循环闭合线程处的姿态图时添加GPS约束作为我们的后端。此外，我们将网络输出的深度图提供给滑动窗口中的最新关键帧，并将深度值分配给该帧中刚刚选择的点。在后端，我们将使用前端得到的姿态约束来约束两帧之间的姿态，我们将保留LDSO的闭环方法。我们使用 G2O 构建优化图并进行图优化。整体优化图如图 3 所示。

图3 蓝色圆圈代表待优化的姿态，蓝色矩形代表前端得到的姿态约束，橙色矩形代表闭环检测得到的姿态约束，绿色矩形代表GPS约束。

SCCVA-MVSNet

我们的整体网络结构如图4所示，我们将窗口中关键帧的信息作为网络的输入。但是，我们不是直接输入图像和相应的姿势，而是将图像稀疏特征点的深度和置信图一起用作网络的输入。

图4 将窗口中所有关键帧的收敛特征点投影到所有帧之间，形成稀疏深度图（蓝色）和置信图（黑色）作为归一化卷积网络的输入。第二阶段的U-Net采用串联的粗略深度、置信度和图像来提取用于构建级联成本体积的特征，并分层估计要构建的深度图

多视图几何一致性映射

此阶段旨在根据估计的深度图对活动关键帧的深度图进行积分。CNN-SLAM通过不确定性图融合了之前的关键帧深度和当前的关键帧深度。如果集群至少有三个元素，我们融合集群的元素。融合点具有总体聚类元素的中位数位置。中位数位置用于避免在大深度不连续处对多个相邻像素求平均值时出现伪影。

为了实现在线密集图，我们将前端可视里程表和后端GPS优化不同的CPU线程以及DNN推理在GPU上运行。我们使用PyTorch训练网络，并使用TorchScript在C++中执行推理。我们用无人机收集了150-200m高度的真实场景数据集。我们使用COLMAP 重建每个图像的深度值，并使用生成的深度图作为训练和评估的地面真实深度。为了使COLMAP的重建结果更加准确，我们将SLAM估计的位姿输入到COLMAP中，使重建结果更准确、更快捷。

轨迹评估

我们在模拟数据集上评估视觉 GPS 里程计的姿态估计与其他最先进的单目SLAM 方法。我们根据DSO，ORB-SLAM2，TANDEM进行评估，表1显示了我们在模拟数据集上的结果。

表1序列数据集上的姿势评估：显示了五次运行的平均绝对姿势误差偏差

可以看出，通过后端优化使用GPS后，每个模拟数据集都有一定的改进。此外，我们的方法是为大型无人机设计的，这些无人机通常具有出色的卫星信号。

深度图评估

我们在图5中展示了一些深度图结果，其中Real 1 序列的基数是通过 COLMAP 重建获得的。我们可以在图中看到，我们的方法在细节上做得更好。特别是，我们的方法在复杂数据上显示出很强的鲁棒性，而TANDEM的网络在复杂场景中会产生不正确的杂散点（如第4行）。

图5 TANDEM和我们的深度比较 在真实和模拟场景中，所有深度可视化地图都归一化为250m

图6定性地显示了我们的地图构建结果，其中TANDEM输出 TSDF地图，而我们的方法和COLMAP都生成点云图。从整体效果来看，我们的结果更接近COLMAP，但我们的方法没有COLMAP那么严重的异常值点。同样，TAMDEN也有更多的异常值。

图6 第一列是TANDEM的重建，即TSDF地图;第二列是使用COLMAP离线处理得到的地图;第三列是我们在线处理得到的地图，本方法几乎没有噪音

我们提出了一种单目户外大规模现场重建方法LODM，用于大型无人机场景的3D在线重建。同时，提出了SCVA-MVSNet网络，可以快速完成稀疏深度图并获得高质量的深度图。我们展示了上述方法在大规模无人机场景中的性能，可以达到与离线方法类似的结果。

源自：2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) October 23-27, 2022, Kyoto, Japan