最全自动驾驶数据集分享系列八 | 仿真数据集

目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列八：

「本期划重点」

• 全球首个多传感器虚拟标注数据集：51WORLD

• 最大的自动驾驶多任务合成数据集：SHIFT

• 第一个用于车对车感知的大规模开放模拟数据集：OPV2V

「八大系列概览」

自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：

• • 系列一：目标检测数据集

  • 系列二：语义分割数据集

  • 系列三：车道线检测数据集

  • 系列四：光流数据集

  • 系列五：Stereo Dataset

  • 系列六：定位与地图数据集

  • 系列七：驾驶行为数据集

  • 系列八：仿真数据集

本文是<系列八：仿真数据集>，下面共包括6个数据集：

01「SHIFT」

• 发布方：苏黎世联邦理工学院视觉智能和系统组

• 下载地址：

  www.vis.xyz/shift

• 论文地址：

  https://arxiv.org/abs/2206.08367

• 发布时间：2022年

• 简介：最大的自动驾驶多任务合成数据集，它呈现了云量、雨和雾的强度、一天中的时间以及车辆和行人密度的离散和连续变化。SHIFT具有全面的传感器套件和几个主流感知任务的注释，可以调查感知系统性能在领域转移水平增加时的退化情况，促进持续适应策略的发展，以缓解这一问题并评估模型的鲁棒性和通用性

• 特征

  • 最大的合成数据集

  • 一个多任务驱动数据集

  • 具有各种条件下最重要的感知任务，并具有全面的传感器设置

  • 提供了最全面的注释和条件集

数据集中的RGB相机的注释集

02「Livox」

• 发布方：Livox

• 下载地址：

  https://livox-wiki-cn.readthedocs.io/zh_CN/latest/data_summary/dataset.html

• 官网地址：

  https://www.livoxtech.com/cn/simu-dataset

• 发布时间：2021年

• 简介：Livox仿真数据集是基于自动驾驶仿真测试平台生成的点云数据和对应标注，支持3D目标检测和语义分割任务。其中传感器配置了5个激光雷达和1个超远距激光雷达，整个数据集包含了14445帧360°Lidar点云数据，6种目标的3D包围框标注和14种类别的点云语义标注。数据集场景主要为市区宽阔道路场景，包括双向12车道和双向8车道。相应地，该仿真场景中也包含了多种车辆和行人模型，以及更贴近真实场景的交通流模拟。此外，丰富的红绿灯、交通标识牌、隔离物（包括隔离栏杆、绿化带、隔离墩等）、树木建筑等都让整个仿真场景更加贴近实际驾驶路况

• 特征

  • 包含丰富的场景建模，更贴近真实场景的交通流模拟

  • 14445帧360°点云数据

  • 6种目标的3D包围框和目标追踪ID标注

  • 14种类别的点云语义标注

仿真场景示例

03「51WORLD」

• 发布方：51WORLD

• 下载地址：

  https://gitee.com/OpenSimOne

• 官网地址：

  https://www.51aes.com/

• 发布时间：2020年

• 简介：51WORLD虚拟标注数据是基于其自研的自动驾驶仿真测试平台51Sim-One生成及标注。该平台集静态和动态数据导入、传感器仿真、动力学仿真、可视化、测试与回放、虚拟数据集生成，在环测试等为一体。功能模块覆盖自动驾驶仿真测试的全流程，兼具规模，高精度和高真实感，并可自动完成多传感器原始数据（图像和点云）和真值得同步输出

• 特征

  • 涵盖了常见的摄像头仿真数据集，还有激光雷达仿真数据集

  • 包含了对于自动驾驶系统有挑战性的极限工况、复杂道路、天气条件等

  • 全自动标注

摄像头仿真效果示例

04「OPV2V」

• 发布方：UCLA

• 下载地址：

  https://mobility-lab.seas.ucla.edu/opv2v/

• 论文地址：

  https://arxiv.org/pdf/2109.07644.pdf

• 发布时间：2022年

• 简介：该数据集是第一个用于车对车感知的大规模开放模拟数据集。包含了70多个有趣的场景，11464个帧和232913个有注释的三维车辆边界框，收集自CARLA的8个城镇和洛杉矶卡尔弗城的一个数字城镇。作者构建了一个全面的基准，共有16个实现的模型，以评估几种信息融合策略（即早期、后期和中间融合）与最先进的激光雷达检测算法。此外，作者还提出了一个新的关注性中间融合管道，以汇总来自多个连接车辆的信息

• 特征

  • 共有73个不同的场景，每个场景有多辆自动驾驶汽车和趋近真实的交通流出现

  • 囊括了6种道路类型，9个不同的城市

  • 包含1.2万张点云图，4.8万张RGB图像，23万个标注好的3D检测框

左图：CARLA中构建场景的截图。中间：由私家车收集的LiDAR点云。右图。红色的圆圈代表了由于遮挡而对私家车不可见的汽车，但可以被其他连接的车辆看到。(a): 私家车计划在T型路口左转，路边的车辆挡住了它对来往车辆的视线。(b): 由于密集的交通造成的遮挡，私家车辆的LiDAR对几辆车没有测量

05「SYNTHIA」

• 发布方：SYNTHIA

• 下载地址：

  https://synthia-dataset.net/downloads/

• 论文地址：

  https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Ros_The_SYNTHIA_Dataset_CVPR_2016_paper.pdf

• 发布时间：2016年

• 简介：该数据集目的是帮助语义分割和在驾驶场景中的相关场景理解问题，由一组从虚拟城市渲染出来的照片写实框架组成，并附有13个类别的精确像素级语义注释：混杂物、天空、建筑、道路、人行道、栅栏、植被、电线杆、汽车、标志、行人、汽车人、车道标记

• 特征

  • 大量数据和地面实况：来自视频流的200,000+张高清图像和来自独立快照的20,000+张高清图像

  • 场景多样性：欧式小镇、现代城市、高速公路和绿色区域

  • 动态物体多样性：汽车、行人和骑自行车的人

  • 多个季节：冬季、秋季、春季和夏季的专用主题

  • 照明条件和天气：动态灯光和阴影，几种白天模式，雨天模式和夜间模式

  • 传感器模拟：8个RGB摄像机组成一个双目360°摄像机，8个深度传感器

  • 自动地面实况：用于语义分割（像素注释）、深度、汽车自我运动的个别实例

SYNTHIA数据集模拟场景

06「CURE-TSR」

• 发布方：乔治亚理工学院

• 下载地址：

  https://ghassanalregib.com/cure-tsr/

• 论文地址：

  https://arxiv.org/abs/1712.02463

• 发布时间：2017年

• 简介：CURE-TSR数据集中的交通标志图像是从CURE-TSD数据集中裁剪出来的，该数据集包括大约170万张真实世界和模拟器图像，其中有超过200万个交通标志实例。真实世界的图像来自于BelgiumTS的视频序列，而模拟图像是用虚幻引擎4游戏开发工具生成

• 特征

  • 大部分场景来自城市环境

  • 包含14中交通标志：限速、货车、禁止超车、禁止停车、停止、自行车、驼峰、禁止向左、禁止向右、优先、禁止进入、让步和停车