基于HG-SLAM的无人机桥梁检测：基于分层图的SLAM

使用无人机进行全自动桥梁检查的最大障碍可能是在桥梁下发现的GPS拒绝环境。对于自动桥梁检查，能够估计无人机位置是必要的。通常在户外使用的飞行器根据从GPS和机载惯性导航系统 (INS) 获得的综合信息估计其位置。然而，由于大型桥梁的性质，这种桥梁下方的区域是一个没有GPS信号的遮蔽区域，并且由于组成桥梁的许多钢结构的影响，无人机很难估计其精确位置。然而，为了在大型桥梁下进行检查，自主无人机需要能够准确估计其位置并遵循规划的路径。

我们对自主结构检测的整个研究框架的概述如图1所示，我们专注于在使用多个传感器的基于分层图的SLAM的上下文中的3D 映射和定位方法，以及实现使用无人机进行桥梁检查的自主飞行的高级控制。

图1 使用UAV进行自主桥梁检查的总体框架。前两个阶段，3D 映射和覆盖路径规划，是预检过程。在获得精确的3D地图后，通过提取目标桥梁需要检查的位置来执行路径规划

所提出的方法在两种不同类型的大型桥梁上进行了测试，呈现不同的飞行场景（图2）。实验结果与基于桥梁的真实测量值的其他最先进的算法进行比较。我们的实验结果可以在公共媒体网站上看到（实验视频：https ://youtu.be/K1BCIGGsxg8 ）。

图2 室外现场试验中的自主桥梁检测：（左）桥底部检测；（右）桥柱检查

图结构

我们融合来自多个传感器（相机和激光雷达）的数据的方法是基于位姿图SLAM方案，该方案用于构建和解决具有有限传感器测量历史和有限无人机状态的非线性优化问题。所提出的SLAM方法的总体流程图如图3所示。该图本质上由一组节点和一组边组成。节点代表UAV姿态，边基于节点对的相对测量来约束节点。

图3 使用相机、IMU 和 3D LiDAR（光检测和测距）的基于图形的 SLAM 提出的传感器融合方法概述

我们将基本节点定义为超级节点，并进一步建立多个子节点组成一个超级节点（图4）。每个超节点代表无人机位姿和子图，每个子节点由使用VI里程计获得的状态估计和相应的点云数据组成。

图4 建议的图结构示意图。绿色虚线表示通过基于VI里程计(O)的姿态估计生成的约束，红色虚线表示通过基于NDT的里程计获得的约束

顶层控制方案

用于检查的自主飞行的目标是遵循旨在检查所有表面的指定路径。为了达到这个目的，必须考虑几个点来控制无人机。首先，当无人机沿指定路径飞行时，安装的摄像头获取的累积图像数据必须覆盖桥梁的所有表面。其次，两个时间连续的相机图像必须以高于一定值的比例重叠，以确保可以连续检查表面。最后，必须设计一种准确的路径跟踪方法，以使无人机能够抵抗强风使其偏离路径，并确保无人机不会错过要检查的桥梁表面。

 平台和实验装置

 实验平台如图5所示，无人机尺寸约为1090毫米×1090毫米× 450毫米（长×宽×高）；最长飞行时间30∼35分钟；重量为12kg，不含电池。传感器系统的摄像头帧速率为40 Hz，IMU 为240Hz，3D LiDAR 为10Hz。

图5 本研究中使用的定制设计的四旋翼无人机携带各种传感器和设备。在前进的方向上，索尼α9单反相机安装在自制云台上，用于桥梁检查

方法在两种类型的桥梁上进行了测试，河边桥梁和跨海桥梁。对于位于地面的桥梁，安装摄像头向下看以提取地面特征点，而对于位于海上（或河流）上的桥梁，则在无人机上安装向上看的摄像头，而不是安装在无人机上。向下看的相机，以便它可以看到桥的底部。韩国春川登仙桥（图6a）、丽水居布仙桥（图6b），被选为测试地点。

图6. 实验环境( a )登仙桥(河边桥)和( b )居福仙桥(跨海桥)( a )d1：第一列和第二列之间的距离，d2：第二列和第三列之间的距离，w1：桥底宽度，h1：每列的高度；(b)d3：主柱之间的距离，h2：每列的高度，w2：桥底宽度）

图7显示了明显的差异。图7a所示的点云图是仅使用VI里程计生成节点时获得的结果。仔细检查白色圆圈中的区域，可以发现桥的底部和柱子看起来是弯曲的。这是由于在闭环较少时VI里程计的漂移误差，导致地图和整体位置估计的误差。当长距离飞行时，累积误差会产生相当大的问题，并增加无人机坠落的风险。相比之下，使用基于NDT的里程计进行局部优化会导致柱和桥底部的直线，如图7b所示。

图7. 不同节点生成方法的映射结果比较:( a ) 仅使用VI里程计的映射结果。( b )使用VI和基于NDT的里程计的映射结果

图8比较了使用我们方法的轨迹估计结果与使用VI里程计和 GPS定位在两种不同场景中获得的结果：直线和锯齿形。在直接场景中，VI里程计结果显示平移和旋转的漂移稍大，而我们提出的方法产生了相对准确的结果。

图8. 轨迹估计结果。请注意，实验是在桥下进行的，以比较GPS定位、不带闭环的VI里程计和提出的SLAM方法的结果。( a ) 直线轨迹的估计比较。( b ) 锯齿形轨迹的估计比较( c ) 在卫星地图上绘制直线轨迹结果（红色：GPS，绿色：VI-O w/o LC，蓝色：建议）( d ) 在卫星地图上绘制锯齿形轨迹结果（绿色：VI-O w/o LC，蓝色：建议）

实验结果

在登仙桥，无人机在桥下进行导航，给定路径的结果如图9和图10所示。我们在登仙桥进行了两项实验，一项是简单的直线路径，另一项是复杂的曲折飞行路径。图9比较了使用我们提出的方法、LOAM 和LIO映射在Deungseon桥的简单直线飞行路径实验中获得的结果。所有方法都取得了良好的定位，没有丢失无人机的位置，但在映射中显示出略有不同的错误率。

图9. 在Deungseon桥使用不同方法获得的简单直线路径的实验结果：我们的方法与LiDAR里程计和映射 (LOAM)与LIO映射( a ) 所提出方法的结果：红色实线表示无人机的估计轨迹。右下图是最终的地图。( b ) LOAM 结果：实线白线代表无人机的估计轨迹。右下图是最终的地图( c ) LIO-mapping的结果：红色实线代表无人机的估计轨迹。右下图是最终的地图

图10 在 Deungseon 桥上使用不同方法获得的实验结果，用于复杂的锯齿形路径：我们的方法与 LOAM 与 LIO 映射。( a ) 所提出方法的结果：白线表示无人机的估计轨迹。右下图是最终的地图。( b ) LOAM 结果：白线表示无人机的估计轨迹。右下图是最终的地图。( c ) LIO 映射结果：白线表示无人机的估计轨迹。右下图是最终的地图

使用每种方法获得的登仙桥最终地图的详细视图如图11所示。从这两种不同场景中获得的实验结果来看，我们的方法被证实在对具有许多视觉和几何特征的河边桥梁执行SLAM时表现出更高的准确性。

图11 使用我们的方法与LOAM与LIO-mapping获得的Deungseon Bridge最终 3D地图的正视图和侧视图：( a )我们的方法( b )LOAM和( c )LIO-mapping

总体而言，结果证明了所提出方法的可行性和稳定性能。现场实验中遇到的一些困难和挑战总结如下：

① 跨海桥下瞬时强风：即使在桥下可以进行准确的位置估计，但如果突然出现超过10 m/s 的阵风，无人机坠落的风险会显着增加。解决这个问题需要改进飞机本身的硬件或改进控制算法，以更好地应对强风。

②获取的图像和位姿估计的精确同步困难：在当前系统中，图像和位姿数据是分开存储的，稍后操作者手动同步。在这种情况下，数据可能无法正确同步的可能性就出现了。因此，未来将改进整个图像采集系统，并将其集成到机器人操作系统（ROS）中，以实现精确同步。

源自：Remote Sens. 2020, 12, 3022; doi:10.3390/rs12183022