激光雷达和多相机融合方法1

1. 平台

设计了一种铝合金支架，该支架的机械结构可以稳定固定和支撑五个 Point Grey 相机和一个 32线激光雷达的。每个 Point Grey 相机的水平视角为80左右，在五个相机的均匀环形排布的情况下保证了多相机平台可以对周围环境完整的观测。在多相机平台的中心装配了一个支架用于固定激光雷达。本课题选用的激光雷达是 ROBOSENSE 公司生产的 RS-LIDAR-32。

2. 标定

2.1 多相机平台标定图像生成

多相机平台标定的图像如下方的图像，图上方的四张图像是不同频率的噪声图像，相当于不同远近和清晰度图像。

2.2 单相机和激光雷达标定板选择

通过计算相机坐标系和激光雷达坐标系中标定板所在平面的法向量之间的转换关系以及约束点在同一个平面上进行外参的标定。激光雷达的点云数据中无法识别出打在标定板上的点云，需要手动选择点云数据并计算法线向量。图像主要用来计算相机坐标系中标定板的位置和姿态，通过位置和姿态计算出平面的法向量。在相机和激光雷达的标定中，为了使在较远距离处的标定也很准确，需要将标定板拿到距离相机很远的地方。棋盘格标定板的优点的就是结构简单，角点的检测受标定板距离相机的远近的影响很小。多相机标定中应用的多尺度噪声图像在较远处会模糊。因此在单相机与激光雷达的外参标定中选择棋盘格标定板。

3. 标定数据采集

3.1 标定数据采集软件

使用在自动驾驶系统开发中常用的 ROS 系统作为数据采集和离线播放的工具，使用 ROS 系统采集标定数据的 Bag，数据的播放和解压，对数据进行时间同步等操作。

3.2 多相机标定数据采集

多相机的平台是由平台中心的 32 线机械式激光雷达触发拍照。该型激光雷达中的伺服电机会以 10HZ 的频率旋转，电机会返回转子旋转角度，当电机旋转到相应相机的位置时，该相机曝光拍照。相邻相机的曝光时间会有 0.02s的时间差，近似认为在这 0.02s 中相邻相机拍摄到的标定板没有运动，近似于静止。
整个环境感知系统通过激光雷达来触发，激光雷达以 10HZ 工作频率获取点云数据，当激光基线扫描到相机所在角度时，通过底层 FPGA 给出触发信号，通过 PointGrey 公司提供的 SDK 驱动相机采集图像数据。
虽然近似相邻两个相机拍摄到的标定板是同时完成的，但是在数据采集时近似同时拍摄到的数据的时间戳还是有不同的。因此，完成数据的采集之后需要使用 ROS 的时间同步工具对采集的数据进行时间同步，并将压缩的图像数据解压到每个相机的文件夹中。
同步解压得到的图像数据中筛选出相邻相机在同一时间戳拍摄到的标定板信息，其中优先选择标定板位于两相机之间的图像，这样在检测特征点时两个图像都可以检测出相对多的特征点，使得计算得到的两个结果都相对准确。
通过 ROS 系统，我们可以不考虑机器人底层的硬件工作原理与通信，所有的数据都可以通过系统之间的 Topic 的发布与接收来实现。基于 ROS 平台的驱动，通过传感器所采集到的点云数据与图像数据都以message 的形式保存，并通过 Topic 的形式发出，其中每个 message 都有着其属于自己的时间戳ROS 提供的 message_filters，是其完成系统时间同步的API，通过该 API 可以完成两个传感器软件层面上的时间同步。

3.3 单相机和激光雷达标定数据采集

单相机和激光雷达的标定数据需要采集相机 1 和激光雷达的点云数据，令正前方的相机为相机 1。为了减少不必要的步骤，将标定纸粘贴到木板的背面，调整棋盘格的位置，确定相机视野的边界使其可以被相机完整拍摄。因为激光雷达是360度检测，所以不考虑标定板在点云中的位置，在可视化界面中确定相机视野的左中右、前中后一共九个位置，每个位置将标定板分别放在地面前倾、后倾、左倾、右倾、正面五个姿态，再将标定板举起来重复一遍，一共采集 90 个位姿。