机器人操作系统ROS（19） 雷达和摄像头融合的资料

搜集的有关雷达和摄像头融合的资料。仅供参考：

#1 传感器融合：激光雷达+摄像头
摄像头产生的数据是2D图像，对于物体的形状和类别的感知精度较高。深度学习技术的成功起源于计算机视觉任务，很多成功的算法也是基于对图像数据的处理，因此目前基于图像的感知技术已经相对成熟。图像数据的缺点在于受外界光照条件的影响较大，很难适用于所有的天气条件。对于单目系统来说，获取场景和物体的深度（距离）信息也比较困难。双目系统可以解决深度信息获取的问题，但是计算量很大。激光雷达在一定程度上弥补了摄像头的缺点，可以精确的感知物体的距离，但是限制在于成本较高，车规要求难以满足，因此在量产方面比较困难。同时，激光雷达生成的3D点云比较稀疏（比如垂直扫描线只有64或128）。对于远距离物体或者小物体来说，反射点的数量会非常少。

如下图所示，图像数据和点云存在着巨大的差别。首先是视角不同，图像数据是真实世界通过透视投影得到的二维表示，而三维点云则包含了真实世界欧式坐标系中的三维信息，可以投影到多种视图。其次是数据结构不同，图像数据是规则的，有序的，稠密的，而点云数据是不规则的，无序的，稀疏的。在空间分辨率方面，图像数据也比点云数据高很多。

2. 不同的融合策略
物体检测的策略分为：决策层融合，决策+特征层融合，以及特征层融合。在决策层融合中，图像和点云分别得到物体检测结果（BoundingBox），转换到统一坐标系后再进行合并。这种策略中用到的大都是一些传统的方法，比如IoU计算，卡尔曼滤波等，与深度学习关系不大，本文就不做介绍了。下面重点来讲讲后两种融合策略

2在ROS系统基于点云和视觉图像数据融合构建3D点云场景

3 机器人操作系统ROS—深度相机+激光雷达实现vSLAM建图与导航

这篇文章有实际应用和测试，挺好

4 ROS入门——PCL激光雷达点云处理（1）

5 机器人环境感知①——ROS环境下RGBD相机的使用

Github上开源代码

https://github.com/HuangCongQing/ROS
https://github.com/HuangCongQing/3D-LIDAR-Multi-Object-Tracking/tree/kitti
https://github.com/MankaranSingh/Auto-Depth
https://github.com/Ewenwan/Ros
https://github.com/at-wat/mcl_3dl