最全自动驾驶数据集分享系列七 | 驾驶行为数据集

目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列七：

「本期划重点」

• 首次提出由驾驶视频、激光雷达和相应的驾驶行为组成的数据集：DBNet

• 第一个带注释的DAVIS行车记录开放数据集：DDD17

• 第一组自然驾驶数据集：Brain4Cars

「八大系列概览」

自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：

• • 系列一：目标检测数据集

  • 系列二：语义分割数据集

  • 系列三：车道线检测数据集

  • 系列四：光流数据集

  • 系列五：Stereo Dataset

  • 系列六：定位与地图数据集

  • 系列七：驾驶行为数据集

  • 系列八：仿真数据集

本文是<系列七：驾驶行为数据集>，下面共包括10个数据集：

01「DBNet」

• 发布方：上海交通大学

• 下载地址：

  http://www.dbehavior.net

• 论文地址：

  http://www.dbehavior.net/data/egpaper_release.pdf

• 发布时间：2018年

• 简介：该网络提供了由Velodyne激光扫描的大规模高质量点云、仪表盘摄像头记录的视频和标准司机行为

• 特征

  • 大规模：该数据集由超过10k帧的真实街景组成，数据总量超过1TB

  • 多样性：记录真实交通中连续而多变的场景，如海边道路、学校区域甚至是山路，其中包含了大量的十字路口、行人和交通标志

  • 高质量：数据集中的点云、视频和驾驶员行为均通过高分辨率传感器获取，能够较好地还原真实驾驶工况

第一行是灰色特征图，第二行是对应的使用喷射彩色地图的彩色特征图

02「DDD17」

• 发布方：苏黎世联邦理工学院

• 下载地址：

  sensors.ini.uzh.ch/databases

• 论文地址：

  https://xueshu.baidu.com/usercenter/paper/show?paperid=af61bd34613491c87c1e28579e900d42

• 发布时间：2017年

• 简介：DDD17是第一个带注释的DAVIS行车记录开放数据集。DDD17有一个346x260像素的DAVIS传感器，可以记录公路和城市在白天、晚上、夜晚、干湿天气条件下的行驶情况，以及从车载诊断界面获取的车辆速度、GPS位置、驾驶员转向、油门和刹车信息

• 特征

  • 使用活动像素视觉传感器（DAVIS）收集数据

  • DAVIS行车记录带有注释

顶部面板显示DAVIS框架（左：覆盖了一些驾驶数据集，右：事件），底部面板显示了进度条，以及不同车辆数据的可视化（顶部是前灯状态，中间是转向角度，底部是速度）

03「Brain4Cars」

• 发布方：康奈尔大学

• 下载地址：

  http://www.brain4cars.com

• 论文地址：

  https://xueshu.baidu.com/usercenter/paper/show?paperid=db1a3beb87eca6e87b799b1c1d87111d

• 发布时间：2016年

• 简介：该数据集包括1180英里的自然高速公路和城市驾驶，并表明可以在机动车实时发生前3.5秒预测这些机动车，精确度和召回率分别为90.5%和87.4%

• 特征

  • 提出了一种提前几秒钟预测驾驶动作的方法

  • 第一组自然驾驶的数据集，包括车内的视频、GPS和速度信息

数据集在司机和景观方面是多样化的

04「Dr(eye)ve」

• 发布方：摩德纳大学

• 下载地址：

  http://imagelab.ing.unimore.it/dreyeve

• 论文地址：

  https://xueshu.baidu.com/usercenter/paper/show?paperid=b3c91a0614c90b14472ab520ae4b8093

• 发布时间：2016年

• 简介：该数据集由50多万帧组成，包含司机的凝视和他们的时间整合，提供了特定任务的显著性地图。地理参考位置、驾驶速度和路线完成了这组发布的数据。

• 特征

  • 该数据集是公开的，提供了数小时的驾驶视频，可以用来理解注意力现象

  • 该数据集依赖于任务和环境。根据注意力的心理学研究，数据是在真实的驾驶体验中收集的，因此尽可能地真实

  • 使用高端注意力识别仪器，结合摄像头数据和GPS信息

从左到右，从上到下：车载视图、驾驶员视角、凝视地图叠加和地理参考路线

05「Elektra(DrivFace)」

• 发布方：巴塞罗那自治大学

• 下载地址：

  http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc11-drivface-dataset/

• 官网地址：

  http://adas.cvc.uab.es/elektra/

• 发布时间：2016年

• 简介：该数据库包含在真实场景中驾驶时的主题图像序列。它由606个样本组成，每个样本大小为640x480像素，在不同的日期从4名司机（2名女性和2名男性）那里获得，并具有眼睛和胡须等多种面部特征

• 特征

  • ground truth包含人脸边界框和人脸关键点的注释

  • 给出了一组标签，将每个图像分配到3个可能的注视方向类别。第一类是“右视”类，包含-45°和-30°之间的角度。第二个是“正面”类，包含-15°和15°之间的角度。最后一个是“左视”类，包含30°到45°之间的角度

06「DIPLECS Surrey」

• 发布方：萨里大学

• 下载地址：

  https://cvssp.org/data/diplecs/

• 发布时间：2015年

• 简介：该数据集是通过将高清摄像头放置在萨里乡村周围行驶的汽车中记录，包含大约30分钟的驾驶时间。视频分辨率为1920x1080，使用H.264编解码编码

• 特征

  • 通过跟踪方向盘上的标记来估计转向

  • 汽车的速度是从汽车的时速表OCR估计的

07「HDD」

• 发布方：美国本田研究所

• 下载地址：

  https://usa.honda-ri.com/hdd

• 论文地址：

  https://usa.honda-ri.com/documents/248678/249773/CVPR_18_HDD_Yi_Ting-v2.pdf/bb391444-9687-7b3b-0b34-c3534f15904f

• 发布时间：2018年

• 简介：该数据集明确的目标是学习人类如何执行行动并与交通参与者互动。作者在旧金山湾区收集了104个小时的人类真实驾驶记录，使用的是一辆带仪器的车辆。录音由137个session组成，每个session代表一个司机执行的导航任务

• 特征

  • 104小时的人类真实驾驶记录

  • 高分辨率相机：1920 x 1200像素，帧率30Hz

  • 数据收集范围包括旧金山湾区市区、郊区和高速公路

交通场景中不同司机行为的例子，黄色的轨迹表示仪器车辆的GPS位置

08「JAAD」

• 发布方：美国本田研究所

• 下载地址：

  https://data.nvision2.eecs.yorku.ca/JAAD_dataset/

• 论文地址：https://openaccess.thecvf.com/content_ICCV_2017_workshops/w3/html/Rasouli_Are_They_Going_ICCV_2017_paper.html

• 发布时间：2017年

• 简介：JAAD是用于研究自动驾驶背景下的联合注意力的数据集。重点是行人和驾驶员在交叉路口的行为以及影响它们的因素。为此，JAAD数据集提供了一个有丰富注释的346个短视频片段（5-10秒长）的集合，这些片段是从超过240小时的驾驶录像中提取的。这些在北美和东欧几个地方拍摄的视频代表了不同天气条件下日常城市驾驶的典型场景。该数据集为所有行人提供了带有遮挡标签的边界框，使这个数据集适用于行人检测。行为注释说明了与司机互动或需要司机注意的行人的行为，每段视频都有几个标签（天气、地点等）和固定列表中带有时间戳的行为标签（例如，停止、行走、寻找等）。此外，还为每个行人提供了人口属性列表（如年龄、性别、运动方向等），以及每一帧的可见交通场景元素列表（如停车标志、交通信号等）

• 特征

  • 数据集中有超过300个视频片段，持续时间从5秒到15秒不等

  • 数据收集在北美（60个片段）和欧洲（286个片段）

  • 使用三种不同的高分辨率单眼相机收集，视频帧率为30fps

数据集中提供的注释示例:所有行人的边界框，行为标签，行人过马路或打算过马路的性别和年龄，上下文标签(天气，一天的时间，街道结构)

 

09「UAH-DriveSet」

• 发布方：阿尔卡拉大学（UAH）

• 下载地址：

  http://www.robesafe.uah.es/personal/eduardo.romera/uah-driveset/#dataset

• 论文地址：http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera16itsc.pdf

• 发布时间：2016年

• 简介：UAH-DriveSet 是我们的驾驶监控应用 DriveSafe 由不同环境中的各种测试人员捕获的公共数据集合。该数据集试图通过提供大量变量来促进驾驶分析领域的进展，这些变量在独立驾驶测试期间由智能手机的所有传感器和功能捕获和处理。该应用程序在 6 位不同的驾驶员和车辆上运行，在两种类型的道路（高速公路和次要道路）上执行 3 种不同的行为（正常、昏昏欲睡和攻击性），产生超过 500 分钟的自然驾驶及其相关的原始数据和其他语义信息，以及旅行的视频记录

• 特征

  • 由6名不同的司机和车辆运行

  • 在两种类型的道路上执行3种不同的行为（正常、瞌睡和攻击性）

  • 产生了500分钟的自然驾驶及其相关的原始数据和经过处理的语义信息，同时还有行程的视频记录

在次要道路行驶的记录

10「DADA」

• 发布方：西安交通大学，长安大学

• 下载地址：

  https://github.com/JWFangit/LOTVS-DADA

• 论文地址：

  https://arxiv.org/abs/1912.12148v1

• 发布时间：2019年

• 简介：作者制作了该数据集用于研究驾驶员注意力预测。作者搜索了几乎所有的公共数据集和主流视频网站，获得了300万帧左右的视频，经过清洗工作后获得了2000个分辨率为1584 x 660的视频中（等于6.1小时，30fps），视频不做任何修剪工作使注意力的收集更加自然

• 特征

  • 根据事故的参与者将视频划分为54类

  • 场景涉及高速公路，城市道路，乡村道路，隧道等

目标检测和注意力预测结果