[论文解读]Spatial maps with working area limit line from images of crane‘s top-view camera

论文研究背景

由于施工工业环境复杂，视野有限，高空环境下起重机操作复杂，操作人员将面临两个关键问题：操作安全和工作效率。其中大多数的安全事故主要是由于起重机操作人员无法准确的识别安全隐患造成的。因此有必要向高空中起重机操作人员全面的直观的展示重要的视觉信息，可以有效的避免一些安全事故发生和提高工作效率。

论文研究的意义

论文研究的实际意义在于，通过实时三维空间地图重建，可以在顶视图图像中显示工作区域限制线，从而帮助起重机操作员可视化检测隐藏的危险，避免起重机翻倒等安全隐患，提高工作效率。

行业现状

由于高空作业下，操作人员视野有限。目前的解决方法是需要几个工作人员站在工作环境中合作进行，为操作人员提供吊装信息。但该方式操作效率低，且存在极大的安全隐患，极易对地面工作人员造成威胁，如轰鸣裂缝和起重机翻车，几乎不可能被起重机操作员发现。而这些危险都要求起重机操作人员具有较高的技能和足够的操作经验，特别是在拥挤和复杂的环境中操作时。

目前3D点云重建的方法存在：1）对于弱纹理的图像重建效果差；2）现有的商业软件Pix4D和Autodesk重建时间长，无法及时的反应地面的信息；3）一些高精度的重建方法如COLMAP和VisualSFM只能离线使用，不能在随时变化的施工环境中使用，且稠密点云重建一般需要几个小时。

论文提出的解决方法

论文提出了一种用于生成3D空间地图的系统，该系统在使用安装在吊装顶部的相机捕捉2D图像，然后使用最新的3D计算机视觉技术（半直接视觉测程(SVO)和正则化单眼深度估计(REMODE)）实时重建起重机工作环境的密集三维空间地图。该项技术主要任务包括定位（用于确定相机在周围环境中的姿势）和映射（即对环境的几何识别）。

所提方法分两个处理阶段：预处理和操作阶段

预处理阶段：




操作阶段：
根据重建的三维空间地图、相机位置将安全先投影到俯视图相机，操作人员便可以根据图像中的安全线进行操作。
首先在三维空间图中绘制WAL线，然后用正确的WAL线投影到俯视图图像上，如下图所示。


(a)顶视图的正交投影。有许多闭合线表示具有不同负载的WAL线。(b)三维建筑工地的WAL线。P1是上升的起点。P2和P3是可能的目标位置。©和(d)用两种不同的相机姿势将WAL线投影到俯视图图像的说明。

在Pc中绘制WAL线：首先，拟合相机姿态轨迹为圆，估计0度方向θ0和旋转轴lr的基础绘制线索。然后，利用极坐标在每个旋转角度θ处画出WAL线，得到WAL线。其次，为了在图像中显示WAL线，从图像中提取SIFT特征，并与Pc中的SIFT特征进行匹配，得到T = [R∣T]。使用T可以在图像中正确显示WAL线。

实验测试

实验平台：使用了一个顶视图摄像头和一个激光雷达，以及一个模拟器，以收集起重机的三维空间地图数据。

实验目的：在Pc中绘制WAL线，并采用仿真实验和现场实验对提出的方法进行验证。

仿真实验

利用仿真软件Gazebo进行了仿真实验。创建了一个塔式起重机环境，该环境带有一个俯视图摄像头和几个物体。距离地面26米的摄像机可以拍摄640 × 480图像大小的视频，帧率为60帧/秒。在模拟过程中，起重机将围绕环境旋转，生成模拟视频。钩子在相机投影区域的范围内，使捕获的图像看起来更像真实的捕获图像。为了进行模拟实验，创建了两个环境。

现场实验

在现场试验中，采用了崎岖地形起重机。起重机的臂架将围绕工作区域作圆周旋转。在第一次现场试验中，臂架头部保持在离地面15 m的高度。
第二个现场实验大约21米长。第一个现场实验涉及一个24毫米焦距的PoE相机前视红外。捕获图像的分辨率为1280 × 1024。第二个实验使用了一台名为c920R的相机。相机的分辨率为1920 × 1280。为了进行实时计算，在第二次现场实验中，将图像大小调整为940 × 640。

实验结果

重建误差：首先用RANSAC平面拟合从Pc的点集中粗略挑选出接地平面。在此基础上，通过最小二乘分析来改善平面拟合，并估计其最小二乘重构误差。计算了平面拟合误差对Pc中各点的标准差σ。以3σ为最大误差，最后仿真实验的两张三维空间图的最大误差分别为0.3386和0.3767 m。在几乎只有平坦地面的现场试验中，最大误差为0.1503 m。另一个的最大重构误差为0.3433 m。
投影误差：两次仿真实验的最大误差分别为2.9 mm和1.2 mm。两次现场实验的误差分别为24.6 mm和25.0 mm。最后，结合三维空间图和摄像机姿态，对最终的投影误差进行粗略估计。投影误差可以用以下公式计算:

论文的结果表明，论文所提出的方法可以成功地将工作区域限制线显示在顶视图图像中，从而有效地避免起重机翻倒等安全隐患，提高工作效率。

研究贡献

1、提出一种基于三维空间地图实时重建的WAL线显示方法。该方法分为两个阶段:三维空间地图重建的预处理和WAL线显示的操作。该方法可用于识别俯视图图像中的WAL线，帮助起重机操作人员直观地发现隐患。
2、提出了一种基于SIFT特征的摄像机姿态估计方法。通过俯视图摄像机捕捉到的实时图像中的二维SIFT特征进行检测，并与Pc中的三维SIFT特征进行匹配，找到三维与二维的对应关系。实现相机位姿的估计。