基于交通标志检测的单目视觉里程计光束法平差

1. 介绍

提出一种基于交通标志特征的联合BA模块，以消除和消除递增累积的位姿误差。连续提取的具有标准尺寸和平面信息的交通标志特征将为通过BA提高VO估计精度提供强有力的附加约束。框架可以很好地与现有的VO系统（如ORBSLAM2）协作，交通标志特征也可以用从其他已知尺寸的平面对象中提取的特征来代替。
为寻找更好的特征，在不使用任何其他地理信息系统GIS信息的情况下，能够提供稳健的匹配对应和有效的位姿优化约束。交通标志是在标准正方形、圆形或三角形板上具有容易识别的图案的人造物体。与场景中提取的ORB特征相比，固定交通标志上的特征更加突出和稳定。当汽车行驶时，交通标志经常在道路沿线被观察到，根据其突出的外观特征和运动轨迹，可以始终如一地检测和跟踪交通标志[。交通标志上的特征不仅稳定，而且与标准尺寸在同一平面上。本文充分利用交通标志检测到的特征，提出了一种联合的BA算法，弥补了ORB-SLAM2算法中常用场景特征的局限性。我们的基于检测/跟踪交通标志的联合BA模块与标准的本地BA进程协同工作，以减少漂移误差问题，获得更好的VO定位性能。

2. 创新点

1） 提出了一种基于交通标志的联合BA方法，该方法在标准局部BA过程的基础上，加入了交通标志的约束条件，以减少累积的漂移误差。交通标志的标准化形状、尺寸和平面信息被共同考虑。
2） 基于训练的深度学习交通标志检测器和稳健的线段检测器，从交通标志中提取的特征点比原始场景中的ORB特征点具有更高的可靠性和信息量。将模型集成到ORB-SLAM2系统中可以提高VO性能。
3） 设计了一个优化程序，将从检测/跟踪的交通标志中提取的特征点合并在一起。文中给出了一种新的基于交通标志的附加约束的联合BA算法，该算法可以很容易地扩展到其他已知尺寸的平面目标，从而提高车辆的自定位性能。
4） 通过在真实数据集和合成数据集上的实验，我们观察到一些有用的发现，如弯道需要更多的姿态修正，这将有助于无人驾驶汽车和道路设计在自主驾驶应用中的应用。

3. 基于交通标志的捆绑调整

图1视出系统框架，系统实现基于ORB-SLAM2[15]的单目模块，将交通标志检测、交通标志特征提取和基于提取特征的联合BA模块集成到整个框架中，且去除了原ORB-SLAM2系统的环路闭合部分。
一方面，跟踪原始ORB-SLAM2的跟踪线程，从场景中提取ORB特征进行逐帧姿态估计。局部映射线程在相邻关键帧内执行局部BA，以调整这些帧中累积的可观测3D映射点，并优化增量估计的姿势。另一方面，使用交通标志检测器来检测视频帧中的交通标志。每当在视图中观察到交通标志时，都会在标志平面内提取出具有信息性和区分性的特征，如顶点（根据形状）和图案点（根据图形）。在相邻的关键帧中检索所有相同的符号，并利用符号特征与场景中的原始球点一起执行关节BA。
由于运动目标和不稳定的环境，场景中的ORB特征可能不可靠。首先根据相应特征点的三角剖分结果生成三维地图点，从而产生不可靠、不可信的三维地图点。与普通的ORB场景特征相比，交通标志特征具有更丰富的信息性和识别性。最重要的是，交通标志尺寸不变，特征点位于同一平面上，在位姿优化的BA过程中产生了很强的约束，并且可以由出确定地图尺度。通过对提取的标志特征点进行多次迭代和位姿优化，可以得到更精确的摄像机位姿估计。

3.1 交通标志检测

采用速度较快的R-CNN检测器对图像序列中的各种交通标志进行检测。与类内方差高、类间方差低的车辆检测相似，交通标志检测也面临同样的问题。因此，利用相邻帧的信息，在丢失的检测帧或错误分类的帧中促进交通标志的发现，以获得连续、正确的检测结果。

3.2 交通标志特征提取

将检测到的交通标志上的共面特征点分为两类，一类是根据标志形状的顶点，如等边三角形或正方形等；另一类是根据图形在标志板内部的显著特征点，称之为模式点。图3显示了提取标志上两种特征点的过程。对于顶点，为了确保可靠地提取和感知顶点的相对位置（用于帧间的匹配），我们采取了三个步骤来提取它们，如图3（a）所示。首先，应用行分割检测器（LSD）检测到的边界框内创建行。其次，根据交通标志的凸面形状，对沿交通标志轮廓边缘的有意义线进行滤波。最后，计算这些滤波边的交点（即顶点）。图4显示了在各种符号类型中检测到的顶点。

由于交通标志只关注车辆视野中大图像中的一个小区域，因此在交通标志区域内提取特征的计算成本可以忽略不计。因此，主要关注被检测特征的质量来选择最佳的检测器。Shi-Tomasi角点检测器性能良好，具有足够数量的唯一可分辨的检测点，并且在不同条件下也能稳定地识别特征。由于交通标志具有标准的几何形态和明显的色/线模式，没有太多的纹理信息，因此基于梯度的方法（如Shi Tomasi和Harris）比基于模板的方法（如FAST）更适合这种情况。和ORB同样使用BRIEF描述,b子。并使用暴力匹配，采用了极线约束来确保这些特征点关联

由于交通标志上定义的标准化尺寸，顶点也可以建立长度约束。此外，它们比场景中提取的球点更加稳定和健壮。然后，利用交通标志特征点的共面和固定标准长度约束，设计了一种更好的BA方案，使VO定位更加精确。

3.3 BA公式

使用从检测到的交通标志牌中提取的顶点和模式特征点，与整个场景中的香草球特征点进行联合BA。为了构造重投影误差目标函数，误差项定义为：
应用非线性最小二乘法来描述优化问题，目标函数可以表述为：
**通过对交通标志点施加约束，我们的联合BA可以提高定位性能。**此外，用于局部BA优化的原始地图点仅由关键帧的一个子集观察，而我们的交通标志特征点通常由关键帧中的所有帧观察，这将有助于在联合BA操作中，除了共面约束和长度约束之外，这些框架之间有非常强的连接对应关系。
BA中采用了两步程序。首先，只使用基于场景中对应的普通球体特征的地图点。将估计姿势的输出作为初始化。其次，使用具有更强约束的交通标志点，即恒定边缘长度和平面特性，来优化姿势。

4. 实验

使用APE和RPE的均方根误差（RMSE）来评估VO性能。绝对位姿误差（APE）和相对位姿误差（RPE）分别是研究SLAM弹道全局一致性和局部一致性的常用指标。

4.1 误差对比

如图6（KITTI odometry数据集）和图7（KITTI raw数据集）所示，与地面真值轨迹（GT）相比，我们的关节BA（ORB+P、ORB+V或ORB+P+V）在定位方面比香草ORB-SLAM2结果（ORB）取得更好的性能，其中“P”和“V”表示在联合BA函数中交通标志上使用额外的模式点和顶点。很明显，应用模式点和顶点，轨迹更接近地面的真实情况。图8显示了在P4B数据集上的实验结果，联合BA在定位方面取得了更好的性能。

4.2 消融研究

为了了解这些特征点如何影响VO适应性能还进行消融研究。单目ORB-SLAM2VO加上关节BA不同测量的结果见表II和表III，分别使用KITTI里程数据集和原始数据集。

上表可以看出，在顶点和模式特征点应用长度和共面约束有助于在APE和RPE值较低的情况下获得更好的性能，这证明了从观测到的交通标志中提取附加信息确实提高了单目视觉里程计的定位精度。通过联合BA，基于检测到的交通标志特征更好地估计摄像机姿态，可以在很大程度上缓解漂移误差问题。还与几种最先进的方法进行了比较，例如Mono-SLAM[33]、DSO[29]、LDSO[30]和LSD-SLAM[31]。结果如表五所示，可以看出该方法在APE和RPE值最小的情况下取得了更好的性能。