实现目标: 利用摄像头目标检测结果vision_darknet_yolo3
(人、车)、利用激光雷达获得目标的几何信息lidar_euclidean_cluster_detect
(大小、距离)、利用感知融合模块融合摄像头和激光雷达信息range_vision_fusion
,并在三维地图中可视化。
激光雷达-摄像头感知融合展示
数据准备: ROSBAG数据包、激光雷达-摄像头联合矫正文件 提取码:1234
操作步骤:
摄像头的视觉检测是基于YOLO-V3,在开始前请确定已下载好yolo3的权重文件,并保证autoware中的vision_darknet_yolo3
模块可以正常使用。部署方法可参照Autoware1.14-摄像头目标检测YOLO-V3
加载数据包。数据包内只包含/point_raw
和/image_raw
两个话题。点击Play后,点击Pause暂停。
加载激光雷达-摄像头联合矫正文件(相机外参)。点击Autoware runtime manager 中Sensing选项卡内的Calibration Publisher
。在Ref处选择下载的激光雷达-摄像头联合矫正文件,并勾选其他选项,如图所示。
打开Rviz。添加图像界面,左上角Panels界面 > Add new Panel > imageViewerPlugin,然后在image Topic
处选择/image_raw
在rviz中,将Global Options中的Fixed Frame选择至velodyne
(若选项卡中没有则直接手动输入),此时可出现点云图
开启YOLO。在Autoware runtime manager 的 Computing 选项卡中找到vision_darknet_yolo3
,在imageViewerPlugin中Object Rect Topic选择/detection/image_detector/objects
,如图
开启激光雷达欧式聚类检测。在Autoware runtime manager 的 Computing 选项卡中找到lidar_euclidean_cluster_detect
配置界面如图
开启融合模块。在Autoware runtime manager 的 Computing 选项卡中找到 range_vision_fusion
,配置界面如图,detected_objects_range选择激光雷达目标检测的话题,detected_objects_vision选择摄像头目标检测的话题
返回rviz,在Dispaly左下角Add添加融合后的话题。在By topic中找到/detection/fusion_tools/objects_markers/MarkerArray
其中,有蓝色立方体框住的是感知融合后的目标,带有点云团的是激光雷达欧式聚类出的未融合的目标。