【辅助驾驶】KITTI激光数据与图像数据的融合MATLAB实现[1]——综述

一、效果

1、将激光雷达点云数据映射到图片上

2、根据激光雷达和图像数据获得密集深度图

二、融合的含义

数据级融合、特征级融合、决策级融合。参考：https://zhuanlan.zhihu.com/p/47999960

1、数据级融合

针对传感器采集的数据，依赖于传感器类型，进行同类数据的融合。数据级的融合要处理的数据都是在相同类别的传感器下采集，所以数据融合不能处理异构数据。

2、特征级融合

提取所采集数据包含的特征向量，用来体现所监测物理量的属性，这是面向监测对象特征的融合。如在图像数据的融合中，可以采用边沿的特征信息，来代替全部数据信息。

3、决策级融合

根据特征级融合所得到的数据特征，进行一定的判别、分类，以及简单的逻辑运算，根据应用需求进行较高级的决策，是高级的融合。决策级融合是面向应用的融合。

考虑到项目的应用，本文的融合指，将激光雷达数据映射到图像上，将激光获取的点（X，Y， Z）投影于图像上获取其颜色值（R，G，B），从而形成彩色点云（X，Y，Z，R，G，B）。

解决一些例如物体检测、物体追踪、和场景寓意识别等内容可能不在本文讨论范围内。

三、激光雷达数据与图像融合过程

1、标定相机

2、相机与雷达的相对位置关系

3、将激光雷达点云数据映射到图片上

本文以KITTI数据集为例，讨论激光雷达数据与图像数据的融合，使用Matlab实现。