论文阅读 Vehicle Path Prediction based on Radar and Vision Sensor Fusion for Safe Lane Changing

Vehicle Path Prediction based on Radar and Vision Sensor Fusion for Safe Lane Changing

Abstract

因后视镜盲区而发生的交通事故时有发生，尽管现在已经拥有成熟的商业化的处理方案但仍然可以有一些提升。为了解决这样一种问题我们提出了一个全新的基于雷达与视觉传感器融合的方案。我们使用深度学习的方法在车辆周围进行车辆探测和识别，然后跟踪每一辆车，利用线性卡尔曼滤波器进行路径预测的时空约束。

---

1. INTRODUCTION

随着科技的发展，汽车制造商已经开始将自动驾驶技术用于汽车的商业化。
车辆上的辅助驾驶系统基于大量的传感器组成，传感器识别并监测周围环境，收集分析所需的数据。根据NHTSA指出因为后视镜盲点而改变车道时的交通事故率约为10%，是交通事故的四大原因之一。

因此在本文中，我们研究通过基于雷达与视觉传感器融合的车辆路径预测实现安全变道。利用周围环境作为输入数据，输出预测的结果。

---

2. RELATED WORK

以前的物体检测依赖于传统的手工制作的探测器，而现在最先进的方法几乎完全依赖于卷积神经网络。例如2014年流行的R-CNN，Fast R-CNN，2015年诞生的Faster R-CNN， VGGNet和GoogLeNet。以及我们在本文中使用到的YOLO。

对象跟踪也是近年来发展较快的领域，从简单的跟踪器到先进的部分跟踪，能够检测出跟踪对象的可变视点view point。相比之下我们使用轻量级的方法来跟踪自身，并且更多地关注物体检测和识别。

---

3. VEHICLE DETECTION AND TRACKING

我们使用基于YOLO v2的强车辆检测进行车辆跟踪，车辆跟踪方法的选择很大程度上依赖于目标的运动类型。通常我们把运动分为两类：线性和非线性运动。我们的实验表明将相同方向的车辆假定为线性运动是可行的。这样的假设使得系统更加轻量，并且对于由周围非交通相关的具有非线性运动模式的物体引起的可能故障更加robust。此外我们可以使用基本的线性运动假设来约束运动——卡尔曼滤波器。

3.1 Vision-based Vehicle Detection

YOLO中一个输入图像被分割成正方形的网格。每个网格假设存在许多边界框bounding boxes，对于每个边界框中的每一个可能类别计算一个分数。低于每一个分数阈值的边界框将会被丢弃，最后我们留下的是对于车辆预测的边界框。

3.2 Sensor Fusion of Radar and Vision

常用的传感器有激光雷达、雷达、摄像机等，传感器融合中使用的雷达传感器可以测量出物体的速度和距离，而视觉传感器可以实现较高的目标分类和目标识别。

在之前的研究中，研究者把2D的雷达数据（纵向和横向距离信息）转换为3D的图像数据。本文采用点对齐法将各传感器坐标系转换为2D。
之前的研究者对于雷达数据与2D视觉传感器的融合，主要采用基于奇异值分解(SVD)和外部参数估计的方法。本研究使用的2D传感器融合方法是一种点对齐方法，使用坐标变换矩阵保证了相对简单的实现和优异的性能。

所使用的传感器融合方法是基于一个由初始数据值估计得到的转换矩阵，该公式的基本结构由一个3 × 3矩阵和从雷达传感器输入的坐标数据组成，转换后的数值由视觉传感器使用。转换矩阵由最小二乘法估计得到。

XF 和 YF 是融合后的数据
XR 和YR 是雷达数据
XV , YV 是视觉传感器数据
T 是一个转换矩阵
P, U 和V 代表原始的输入数据

这是一种基于视觉传感器的目标识别与基于雷达传感器的距离信息的融合

3.3 Sensor-fusion-based path prediction

与基于物理的匀速、等效速度和翻转模型一样，通过车速和转向角来预测道路是一种通用的方法。然而，在实际车辆行驶的环境中，状态信息变化迅速，这使得仅利用雷达或视觉传感器获得的信息很难准确预测车辆的路线。

在这篇文章中我们使用卡尔曼滤波算法，卡尔曼滤波由预测步骤(从前一个估计得到下一个估计)和修正步骤(将预测的下一个估计修正为当前观测值)组成，卡尔曼滤波的优点是在状态观测方程是线性的情况下，它能提供最优的性能，并且实现过程简单。

zk 代表了 the distance value of the sensor fusion data by XF and YF
wk and vk are the sensor noise and the measurement noise

这是卡尔曼滤波的预测步骤其中
B is the Gaussian random noise

这是卡尔曼滤波器的校正步骤

作为卡尔曼滤波器当前输入值的卡尔曼滤波器的测量值zk是由变换矩阵计算得到的XF, YF

3.4 Safe Lane Changing Algorithm

本文采用传感器融合方法和利用卡尔曼滤波对周围车辆路径的预测来作为安全换道的信息。以下是算法利用传感器融合和卡尔曼滤波提供安全变道报警的流程图：

用于物体识别的最重要的算法来源之一是距离 distance和相对速度relative
speed。在融合后我们判断检测目标是车辆还是非车辆。如果判断物体为车辆，如果相对距离大于10米，相对速度小于10公里/小时，则允许变道。

---

4. EXPERIMENTAL SETUP & RESULTS

略过

---

5. CONCLUSION

In this paper, we investigated the path prediction of surrounding vehicles for safe lane change by fusing a radar and vision sensor. We designed the proposed algorithm and conducted experiments in a real vehicle environment. The fusion of radar and vision sensors improves the path prediction of surrounding vehicles and the vehicle recognition in a rapidly changing vehicular on-road environment. Finally, it is expected to provide more convenience to the driver during driving by providing autonomous judgment on lane change. Furthermore, it is expected that this study can be expanded to a fully autonomous driving vehicles by providing and enhancing environmental awareness of all directions.