ICLR 2022 | ORFD: 第一个开源的越野环境可行驶区域检测数据集

作者 | 闵称  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/570863596

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

论文链接：https://arxiv.org/abs/2206.09907

代码链接：https://github.com/chaytonmin/Off-Road-Freespace-Detection

可通行区域检测对于自动驾驶车辆的环境感知和路径规划至关重要。过去十年基于学习的可通行区域检测算法取得了很大的成功，但是基本上都是关注城市场景的可通行区域检测。相比于规则的城市场景道路，越野场景道路复杂多变，可通行区域检测更加困难，另外目前缺少开源的越野场景可通行检测数据集和算法基准。因此，本文开源第一个覆盖多种越野场景的可通行区域检测数据集，ORFD。ORFD采集了包括草原、林地、农田和乡村道路等不同场景道路，覆盖晴天、雨天、雾天和雪天等不同无人车行驶天气状况，包含强光、日光、微光和黑暗等光照条件。ORFD一共有12198帧激光雷达点云和图像对数据，在图像视角进行了标注，包含三种类别：可通行区域、不可通行区域和不可到达区域（如天空）。我们同时还提出了一个基于Transformer的越野场景可通行区域检测模型OFF-Net，利用交叉注意力机制自适应融合点云和图像的多模态信息。

主要工作与贡献：

• 我们开源了第一个越野场景可通行区域检测数据集ORFD，包括草原、林地、农田和乡村道路等不同场景道路，覆盖晴天、雨天、雾天和雪天等不同无人车行驶天气状况，包含强光、日光、微光和黑暗等光照条件。

• 我们提出了一个越野场景可通行区域检测基准算法OFF-Net，采用Transformer结构聚合全局信息，设计cross-attention自适应挖掘点云和图像的多模态信息。

• 我们的越野场景可通行区域检测数据集ORFD和算法基准OFF-Net，有助于提高无人车在越野场景的自主行使能力。

城市场景道路和越野场景道路对比：

图1 (a) 城市场景道路有清晰的道路边界 (b)越野场景可通行区域难以准确定义。

数据采集装置

图2 越野场景可通行区域检测数据集ORFD采集装置：Pandora 40线的激光雷达，相机和激光雷达一体。联合标注激光雷达和相机。

越野场景可通行区域检测数据集ORFD

图3 越野场景可通行区域检测数据集ORFD，包括草原、林地、农田和乡村道路等不同场景道路，覆盖晴天、雨天、雾天和雪天等不同无人车行驶天气状况，包含强光、日光、微光和黑暗等光照条件。采集了30段道路数据，一共有12198帧激光雷达点云和图像对数据。在图像视角进行了标注，包含三种类别：可通行区域、不可通行区域和不可到达区域（如天空）。

数据集划分

越野场景可通行区域检测基准算法OFF-Net

图4 提出的越野场景可通行区域检测基准算法OFF-Net。首先将激光雷达点云投到相机视角得到深度图，然后计算得到法向量图，再利用Transformer网络融合法向量图和图像，得到道路分割结果。

实验结果

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、多传感器融合、SLAM、光流估计、轨迹预测、高精地图、规划控制、AI模型部署落地等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！