Deep Learning for Image and Point Cloud Fusionin Autonomous Driving: A Review

摘要

在过去几年中，自动驾驶汽车经历了快速发展。然而，由于驾驶环境的复杂性和动态性，实现完全自主并非易事。因此，自动驾驶车辆配备了一套不同的传感器，以确保可靠、准确的环境感知。特别是，相机激光雷达融合正在成为一个新兴的研究主题。然而，到目前为止，还没有关于基于深度学习的相机激光雷达融合方法的评论。为了弥合这一差距并激励未来的研究，本文致力于回顾最近利用图像和点云的基于深度学习的数据融合方法。本文简要概述了图像和点云数据处理的深度学习。随后，深入回顾了摄像机LiDAR融合方法在深度完成、目标检测、语义分割、跟踪和在线跨传感器校准方面的应用，这些方法都是根据各自的融合级别进行组织的。此外，我们在公开可用的数据集上比较了这些方法。最后，我们发现了当前学术研究和实际应用之间的差距和挑战。基于这些观察，我们提供了我们的见解，并指出了有前景的研究方向。

索引术语-相机-激光雷达融合、传感器融合、深度完成、目标检测、语义分割、跟踪、深度学习。

一、 简介

在深度学习和传感器技术方面的突破推动了自动驾驶技术的快速发展提高道路安全、交通效率和个人机动性[1]–[3]。然而，技术挑战和外感测器的成本限制了当前自动驾驶系统在受限和受控环境中的少量应用。一个关键的挑战是实时获得对车辆3D周围环境的足够准确的理解。为此，传感器融合已成为一个新兴的研究主题，它利用具有互补特性的多种传感器来增强感知并降低成本。

特别是，最近的深度学习进展显著提高了相机LiDAR融合算法的性能。相机和激光雷达具有互补的特性，这使得相机-激光雷达融合模型比其他传感器融合配置（雷达相机、激光雷达等）更有效、更受欢迎。更具体地说，基于视觉的感知系统在低成本下实现了令人满意的性能，通常优于人类专家[4]、[5]。然而，单摄像机感知系统无法提供可靠的3D几何结构，