最全自动驾驶数据集分享系列一｜目标检测数据集（2/3）

目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列一：

「本期划重点」

• 清华大学推出全球首个车路协同自动驾驶研究数据集

• Nexar视频数据集覆盖70多个国家，1400多个城市

• 行人目标检测数据集一览：KAIST、ETH、Daimler、Tinghua-Daimler、Caltech、NightOwls、ECP

• 夜间图像也清晰可见：Kaist行人数据集、FLIR热成像数据集、东京大学红外数据集

「八大系列概览」

自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：

• 系列一：目标检测数据集

• 系列二：语义分割数据集

• 系列三：车道线检测数据集

• 系列四：光流数据集

• 系列五：Stereo Dataset

• 系列六：定位与地图数据集

• 系列七：驾驶行为数据集

• 系列八：仿真数据集

本文是<系列一目标检测数据集>的第二篇，一共分为三篇来介绍。

下面共包括15个数据集：

01「DAIR-V2X数据集」

• 发布方：清华大学智能产业研究院（AIR）、北京市高级别自动驾驶示范区、北京车网科技发展有限公司、百度Apollo、北京智源人工智能研究院

• 下载地址：

  https://thudair.baai.ac.cn/cooptest

• 发布时间：2022年

• 简介：DAIR-V2X数据集是全球首个用于车路协同自动驾驶研究的大规模、多模态、多视角数据集，全部数据采集自真实场景，同时包含2D&3D标注

• 特征

  • 总计71254帧图像数据和71254帧点云数据

    • DAIR-V2X协同数据集(DAIR-V2X-C)，包含38845帧图像数据和38845帧点云数据

    • DAIR-V2X路端数据集(DAIR-V2X-I)，包含10084帧图像数据和10084帧点云数据

    • DAIR-V2X车端数据集(DAIR-V2X-V)，包含22325帧图像数据和22325帧点云数据

  • 首次实现车路协同时空同步标注

  • 传感器类型丰富，包含车端相机、车端LiDAR、路端相机和路端LiDAR等类型传感器

  • 障碍物目标3D标注属性全面，标注10类道路常见障碍物目标

  • 采集自北京市高级别自动驾驶示范区10公里城市道路、10公里高速公路、以及28个路口

  • 数据涵盖晴天/雨天/雾天、白天/夜晚、城市道路/高速公路等丰富场景

  • 数据完备，包含脱敏后的原始图像和点云数据、标注数据、时间戳、标定文件等

  • 训练集和验证集已发布，测试集将随同后续Challenge活动发布

02「Argoverse」

• 发布方：Argo AI、卡内基梅隆大学、佐治亚理工学院

• 下载地址：

  https://www.argoverse.org/av1.html

• 论文地址：

  https://arxiv.org/pdf/1911.02620.pdf

• 发布时间：2019年

• 简介：Argoverse 数据集包含 3D Tracking 和 Motion Forecasting 两部分。Argoverse数据集与Waymo有些不同，虽然它也包含激光雷达和摄像头数据，但它只覆盖了在迈阿密和匹兹堡记录的113个场景。其特别之处在于，它是第一个包含高清地图数据的数据集

• 特征

  • 第一个包含高清地图数据的数据集：包含匹兹堡和迈阿密290公里的车道地图，如位置、连接、交通信号、海拔等信息

  • 传感器：2个激光雷达，7个高分辨率环形相机 (1920 × 1200)，2个立体相机（ 2056 × 2464 ）

  • Argoverse 3D tracking

  • 包含 113 个场景的 3d 跟踪注释，每个片段长度为 15-30 秒，共计包含 11052个跟踪对象

  • 对5米内的物体进行标注，共15个标签

  • 70%的标注对象为车辆，30%行人、自行车、摩托车等

  • Argoverse Motion Forecasting

  • 从在迈阿密和匹兹堡的1006小时驾驶记录中获取，总计320小时

  • 包含324,557 个场景，每个场景 5 秒，且包含以 10 Hz 采样的每个跟踪对象的 2D 鸟瞰图

03「KAIST Multispectral Pedestrian」

• 发布方：韩国科学技术院（Korea Advanced Institute of Science and Technology）

• 下载地址1：

  https://sites.google.com/site/pedestrianbenchmark/download

• 下载地址2：

  https://sites.google.com/site/pedestrianbenchmark/download

• 论文地址：

  https://openaccess.thecvf.com/content_cvpr_2015/papers/Hwang_Multispectral_Pedestrian_Detection_2015_CVPR_paper.pdf

• 发布时间：2015年

• 简介：该数据集为多光谱行人检测数据集，提供白天和夜晚的彩色-热成像图像对。数据集通过彩色图像和热成像的优势互补，提高了行人检测的准确度，克服了以往行人检测数据行人被遮挡、背景混乱、夜间成像不清晰等问题

• 特征

  • 同时提供白天和夜间的95328对彩色-热成像图像，并且通过分束器的处理对齐图像，消除图像视差

  • 数据采集地点为韩国首尔，图像分辨率为640x480

  • 103,128个人工2D框标注， 1,182 个行人

  • 四种不同类型的标注：person、people（不清晰的人像）、cyclist、person?（不确定是否为行人）

  • 采集设备：包含热成像仪、RGB摄像机、分束器等的采集设备

04「ETH Pedestrian」

• 发布方：苏黎世联邦理工大学 (ETH Zürich)

• 下载地址：

  https://icu.ee.ethz.ch/research/datsets.html

• 论文地址：

  https://www.vision.rwth-aachen.de/media/papers/ess08cvpr.pdf

• 发布时间：2009年

• 简介：ETH是一个行人检测数据集，使用摄像机拍摄共三个视频片段，数据集只有一个行人标签

• 特征

  • 测试集包含3个视频片段，共4800帧，帧率为15，共1894个标注

  • 使用2.5D标注，进行抽帧标注，每四帧标注一次

  • 采集于瑞士苏黎世人员密集的街区

  • 使用摄像机进行拍摄

05「Daimler Pedestrian」

• 发布方：Daimler AG

• 下载地址：

  http://www.lookingatpeople.com/download-daimler-ped-det-benchmark/index.html

• 论文地址：

  http://gavrila.net/pami09.pdf

• 发布时间：2008年

• 大小：8.5GB

• 简介：戴姆勒行人检测数据集是采集于城市环境的行人检测数据集，采集的环境均为白天。数据集分为训练集和测试集两部分，训练集又包括行人图像和不包含行人的图像

• 特征

  • 27分钟的视频片段

  • 15560张行人的图像（剪切后分辨率为48x96），6744张不包含行人的图片

  • 21,790 张图片(640x480 分辨率)， 56,492个2D人工标注

  • 视频通过行驶车辆上的摄像头采集，场景全部为日间城市道路

06「Tsinghua-Daimler Cyclist」

• 发布方：Daimler AG、清华大学

• 下载地址：

  http://www.lookingatpeople.com/download-tsinghua-daimler-cyclist/index.html

• 论文地址：

  http://www.gavrila.net/Publications/iv16_cyclist_benchmark.pdf

• 发布时间：2016年

• 简介：该数据集旨在丰富骑行者的数据，提高自动驾驶算法对骑行者检测的准确度，在此之前还没有推出过专门针对骑行者目标检测的数据集

• 特征

  • 将近6个小时的视频数据，分辨率为2048×1024

  • 14674帧带标注数据， 32361个标注对象，包括骑行者、行人和其他骑行者

  • 数据集分为部分标注数据集和全部标注数据集。部分标注数据集只包括完整清晰的骑行者，而后者包括行人、自行车、三轮车、轮椅、摩托车等所有骑行者

  • 使用车载立体相机进行采集，采集地点为北京的海淀区和朝阳区

07「Caltech数据集」

• 发布方：加州理工学院 （California Institute of Technology）

• 下载地址：

  http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/

• 论文地址：

  http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/CVPR09pedestrians.pdf

• 发布时间：2009年

• 简介：加州理工学院行人数据集采集于洛杉矶的城市道路，视频数据通过车辆搭载摄像头采集

• 特征

  • ‍包含将近10个小时的640x480 30Hz 数据集

  • 数据集分为训练集和测试集，训练集分为6个子集，测试集分为4个子集，每个子集大小大约为1GB

  • 包含大约 250,000帧行人标注数据，350,000个2D框，2300个行人，总时长大约为137分钟

  • 区分标注行人的可见部分和不可见部分

  • 视频采集于洛杉矶行人较多的六个区：LAX, Santa Monica, Hollywood, Pasadena, and Little Tokyo

08「NightOwls」

• 发布方：Oxford Visual Geometry Group

• 下载地址：

  https://www.nightowls-dataset.org/download/

• 论文地址：

  https://www.robots.ox.ac.uk/~vgg/publications/2018/Neumann18b/neumann18b.pdf

• 发布时间：2018年

• 简介：NightOwls数据集主要提供夜间的行人数据。与白昼相比，夜间照明度差，反射、模糊和对比度变化多，因此夜间行人检测更具挑战性

• 特征

  • 279,000帧数据，图像分辨率为1024 x 640，帧率为15

  • 所有帧都带有2D框标注，且带有追踪信息，包含42,273个行人

  • 四种行人标签：Pedestrians、Bicycledriver、Motorbikedriver、Ignore areas

  • 四类标签属性：Pose、Difficulty、Occlusion、Truncation

  • 多样性：覆盖三个国家（德国、英国、荷兰），春夏秋冬四个季节，黎明和夜晚，不同的天气状况如雨雪天气
    

09「EuroCity Persons Dataset」

• 发布方：代尔夫特理工大学 (Delft University of Technology (TU Delft))

• 下载地址：

  https://eurocity-dataset.tudelft.nl/eval/user/login?_next=/eval/downloads/detection

• 论文地址：

  https://arxiv.org/pdf/1805.07193;The

• 发布时间：2018年

• 简介：ECP是一个多元化的行人检测数据集，数据收集于欧洲多个国家，由车载摄像头进行收集

• 特征

  • 大型多样化数据集：覆盖4 个季节、12 个国家、31 个城市、47300 张图像、238200 个人

  • 标签分为行人和骑行者两类，骑行者又进一步分为自行车、婴儿车、摩托车、滑板车、三轮车、轮椅等类型

  • 对骑行者的标注分两部分：对人的标注以及骑行工具的标注

  • 标注信息除了2D框之外，还包括定位信息

10「Urban Object Detection」

• 发布方：机器人和立体视觉小组（The Robotics and Tridimensional Vision Group, RoViT， University of Alicante ）

• 下载地址：

  http://www.rovit.ua.es/dataset/traffic/#explore（邮件联系获取）

• 论文地址：

  https://www.mdpi.com/2079-9292/7/11/301#

• 发布时间：2018年

• 简介：该数据集中的数据来自于现有数据集，例如PASCAL VOC 、UDacity、Sweden，同时通过安装在车辆上的高清摄像头收集了一部分数据（1%左右），该数据集在公开数据集等的基础上增加了标签的类别。其中有一些数据为弱标注数据，可以用于测试弱监督学习技术

• 特征

  • 数据集被分成两部分：traffic objects 和 traffic signs

  • traffic objects数据集经2D标注，共包括汽车、摩托车、人、信号灯、公交车、自行车和交通标志

  • traffic signs 总共包含43种欧洲街道常见的交通标志，数据来自GTSRB以及Sweden

  • 共包含12000个交通标志

11「Road Damage Dataset 2018-2020」

• 发布方：东京大学

• 下载地址：

  https://github.com/sekilab/RoadDamageDetector/

• 论文地址：

  https://arxiv.org/abs/1801.09454

  https://www.sciencedirect.com/science/article/pii/S2352340921004170

• 发布时间：2018-2020

• 简介

  • Road Damage Dataset 2018：该数据集第一次收集了大规模的道路损坏数据集，收集了日本7个城市共40多个小时的数据。由安装在汽车上的智能手机拍摄的 9,053 张道路病害图像组成，这些道路图像中包含 15,435 个路面病害实例，包含8种病害类型。每幅图像中，道路病害位置和病害类型都被标注出来

  • Road Damage Dataset 2020：该数据集使用车载智能手机拍摄，包含来自印度、日本和捷克共和国的 26,336 张道路图像，其中有超过 31,000 个道路损坏实例。该数据集收集了四种类型的道路损坏：纵向裂缝、横向裂缝、鳄鱼裂缝和坑洼

12「FLIR Thermal Sensing」

• 发布方：Teledyne FLIR

• 下载地址：

  https://www.flir.eu/oem/adas/adas-dataset-form/#anchor29

• 发布时间：2018年

• 大小：17GB

• 简介：感知热红外辐射或热量的能力为现有传感器技术（如可见光相机、激光雷达和雷达系统）提供了互补和独特的优势。该数据集通过热传感技术提供了热图像，在完全漆黑、烟雾、恶劣天气和眩光等具有挑战性的天气条件下，可检测并区分行人、骑行者、动物和机动车辆，促进可见光 + 热传感器融合算法 (“RGBT”) 的研究进展

• 特征

  • 26,442 个完全标注的帧，520,000个2D框，9,711 张热图像和 9,233 张 RGB 图像

  • 15个标签类别：行人、自行车、汽车、摩托车、公共汽车、火车、卡车、红绿灯、消防栓等

  • 热成像仪规格：Teledyne FLIR Tau 2 640x512，13mm f/1.0

13「TuSimple 车道线检测数据集」

• 发布方：Tusimple

• 下载地址：

  https://github.com/TuSimple/tusimple-benchmark/issues/3

• 发布时间：2017年

• 简介：Tusimple举办了一次以摄像头图像数据做车道检测的比赛,公开了一部分数据及其标注信息

• 特征

  • 7,000 个 1 秒长的视频片段，每个片段 20 帧

  • 环境特征：白天，良好或中等的天气，高速公路

  • 训练集包含3626 个视频片段，测试集包含2782 个视频片段

  • 采用线标注，每条线实际上是点序列的坐标集合，而不是区域集合

14「NEXET」

• 发布方：Nexar

• 下载地址：

  https://www.kaggle.com/solesensei/nexet-original

• 发布时间：2017年

• 大小：11G

• 简介：Nexar 包含丰富和多样化道路数据，采用行车记录仪和手机摄像头等拍摄，是目前为止涵盖最多国家和城市的自动驾驶数据集

• 特征

  • 超过2500000个小时的视频，50000张带有2D框标注图像的训练集， 包含41190张图像的测试集合

  • 多样化：覆盖77个国家，1400多个城市，三种照明条件（白天、夜晚、黄昏），四个季节，多种路况（城市、乡村、高速、居民区甚至包括沙漠道路），多种天气状况（晴、雾、雨、雪）

  • 标注：采用2D标注，2D框与车辆不完全贴合

15「Multi-spectral Object Detection」

• 发布方：东京大学

• 下载地址：

  https://drive.google.com/drive/folders/1YtEMiUC8sC0iL9rONNv96n5jWuIsWrVY

• 论文地址：

  https://dl.acm.org/doi/pdf/10.1145/3126686.3126727

• 发布时间：2017年

• 大小：6.85GB

• 简介：该数据集由RGB图像、近红外图像、中红外图像和远红外图像组成，图片拍摄于校园环境

• 特征

  • 7,512 张图片，3,740张日间的图片以及3,772 张夜间图片

  • 采集：图片由RGB、近红外相机、中红外相机和远红外相机获取，为了模拟驾驶环境，相机被安装在一辆小推车上

  • 环境：东京的大学校园，包括白天和夜晚的数据

  • 标注：包含2D框及标签，包括行人、自行车、车辆等障碍物

「联系我们」

整数智能希望通过在数据处理领域的专业能力，在未来三年，赋能1000+以上的AI企业，成为这些企业的「数据合伙人」，因此我们非常期待能与正在阅读这篇文章的您，有进一步的沟通交流，欢迎联系我们，一起探索更多合作可能性，我们的联系方式如下：

联系人：祁先生

电话：13456872274

更多详情可访问整数智能官网：www.molardata.com