最全自动驾驶数据集分享系列一｜目标检测数据集（3/3）

目前关于自动驾驶数据集你想知道的，应该都在这里了，这是「整数智能」自动驾驶数据集八大系列分享之系列一：

「本期划重点」

• • Mapillary推出最大、最多样化的公开交通标志数据集，覆盖全球六大洲

  • DTLD提供差值图像，低分辨率下也可以实现物体识别

  • 清华大学与腾讯合作，推出10万张交通标志高清图像

「八大系列概览」

自动驾驶数据集分享是整数智能推出的一个全新分享系列，在这个系列中，我们将介绍目前为止各大科研机构和企业推出的所有公开自动驾驶数据集。数据集主要分为八个系列：

• • 系列一：目标检测数据集

  • 系列二：语义分割数据集

  • 系列三：车道线检测数据集

  • 系列四：光流数据集

  • 系列五：Stereo Dataset

  • 系列六：定位与地图数据集

  • 系列七：驾驶行为数据集

  • 系列八：仿真数据集

本文是<系列一目标检测数据集>的第三篇，下一期我们将开始介绍语义分割数据集。

下面共包括15个数据集：

01

「Mapillary Traffic Sign Dataset」

• 发布方：Mapillary

• 下载地址：

  https://www.mapillary.com/dataset/trafficsign

• 论文地址：

  https://arxiv.org/abs/1909.04422

• 发布时间：2020年

• 简介：Mapillary 交通标志数据集是世界上最大、最多样化的公开交通标志数据集，用于检测和分类世界各地的交通标志

• 特征

  • 100,000 张高分辨率图像，52,000 张全部标注，48,000 张部分标注

  • 313个带有边界框标注的交通标志类别， 320,000 个标注的交通标志

  • 多样性：覆盖各种天气、季节、一天中的各种时间，同时包含城市和乡村地区道路，图像和交通标志类别的全球地理范围，覆盖 6 大洲

02

「DriveU Traffic Light Dataset」

• 发布方：乌尔姆大学 (Ulm University)

• 下载地址：

  https://www.uni-ulm.de/in/iui-drive-u/projekte/driveu-traffic-light-dataset/registrierungsformular-dtld/

• 论文地址

  https://doi.org/10.1109/ICRA.2018.8460737

• 发布时间：2018年

• 简介：数据集提供差值图像，对宽度为 5 像素或更小的对象进行标注，非常适合在非常低的分辨率下进行物体识别领域的研究

• 特征

  • 188个视频片段，3366张标注图片，分辨率为2048x1024，40951个标注对象，超过 230,000 个带注释的交通信号

  • 标注：344 个不同的标签类别，2D标注，交通灯包含不同属性如灯的颜色、方向

  • 采集环境：德国11个城市，包含不同天气和白天不同时间，2300公里驾驶路程

  • 采集设备：2个百万像素级别相机进行采集

03

Tsinghua-Tencent 100K Tutorial

• 发布方：清华大学

• 下载地址：

  https://cg.cs.tsinghua.edu.cn/dataset/form.html?dataset=tt100k

• 论文地址：

  https://cg.cs.tsinghua.edu.cn/traffic-sign/0682.pdf

• 发布时间：2016年

• 大小：10.8G

• 简介：清华大学依据100000张腾讯街景全景图中创建了一个大型交通标志基准。提供了100000张包含30000个交通标志实例的图像。这些图像涵盖了光照度和天气条件的巨大变化

• 特征

  • 100000张包含30000个交通标志实例的图像，图像分辨率为2048 × 2048，数据来源于腾讯街景数据，该数据集选择了中国5个城市的街景图

  • 包含交通标志但不包含信号灯

  • 多样性：覆盖不同天气和光照条件下的数据

  • 标注：采用多边形标注，分为三种类型的交通标志——警告、禁止和强制性的标志，各种标志的分布比例不均

04

「Bosch Small Traffic Lights」

• 发布方：Bosch（博世）

• 下载地址：

  https://hci.iwr.uni-heidelberg.de/content/bosch-small-traffic-lights-dataset

• 论文地址

  https://ieeexplore.ieee.org/document/7989163

• 发布时间：2017年

• 大小：25.24GB

• 简介：用于交通信号灯检测的数据集，包含了各种复杂多样性环境下的交通灯图像，该数据集提供了高分辨率的图像以及较为精确的标注结果

• 特征

  • 13427 张图像，分辨率为 1280x720 像素， 24000 个带2D框标注的交通信号灯

  • 数据集分为训练集和测试集

  • 训练集：5093张图像、10756个带标注的信号灯、15种不同标签、中位信号灯宽度为8.6 像素

  • 测试集：8334张图像、13486个带标注的信号灯、4个不同的标签（红色、绿色、黄色、关闭）、中位信号灯宽度为8.5像素

  • 采集环境：旧金山湾区

05

「KUL Belgium Traffic Sign dataset」

• 发布方：苏黎世联邦理工大学 (ETH Zürich)

• 下载地址：

  http://people.ee.ethz.ch/~timofter/traffic_signs/

• 论文地址：

  https://btsd.ethz.ch/shareddata/publications/Timofte-MVA-2011-preprint.pdf

• 发布时间：2013年

• 大小：50GB

• 简介：用8个高分辨率摄像头安装在一辆面包车上，总计超过3个小时，带有交通标志标注，大约16000张背景图片

• 特征

  • 145,000 张图片，分辨率为1,628 × 1,236 像素

  • 标注：9,006张静态图像上的13,444个交通标志标注，距离采集的相机50m以内的范围

  • 数据集分为三部分：

  • 训练集：8,851个标注，16,045张不包含交通标志的背景图片

  • 2D测试集：4,593个标注，583 张背景图

  • 3D测试集：1,625个标注，121,632张背景图

  • 提供了一个名为BelgiumTSC的子集，其中有4,591个裁切过的训练样本和2,534个裁切过的测试样本。这些数据对应于原始的BelgiumTS训练和2D测试部分

  • 采集地点：通过GeoAutomation在比利时，佛兰德斯地区的城市道路中采集

06

「German Traffic Sign」

• 发布方：Ruhr-Universität Bochum

• 下载地址：

  https://sid.erda.dk/public/archives/daaeac0d7ce1152aea9b61d9f1e19370/published-archive.html

• 论文地址：https://www.sciencedirect.com/science/article/pii/S0893608012000457?via%3Dihub

• 发布时间：2011年

• 简介：该数据集是在2011年IJCNN上举行的一个多类别分类竞赛提供的，它提供了不同距离、光照、天气条件、部分遮挡等丰富背景下的交通标志。数据集包括43个类别，不同类别的出现频率不是均衡的。参与者必须对两个测试集进行分类，每个测试集有超过12,500张图像

• 特征

  • 10个小时视频数据，帧率为25，图片分辨率为1360×1024 ，50000个交通标志

  • 经过处理后的交通标志的数量为1700，图像分辨率为15x15～222x193像素

  • 标注：半自动标注，133,000张带标注的交通标志图像，2,416个交通标志

  • 采集环境：德国不同道路，日间，使用相机进行采集

07

「LISA Traffic Sign」

• 发布方：the University of San Diego

• 下载地址：

  https://www.kaggle.com/mbornoe/lisa-traffic-light-dataset

• 论文地址：

  https://ieeexplore.ieee.org/document/6335478

• 发布时间：2012年

• 大小：5GB

• 简介：LISA数据集是一个包含美国交通标志的视频数据集。数据集分为两个阶段发布，即发布只有图片的数据集和发布带视频和图片的数据集

• 特征

  • 43,007 帧和 113,888 个带的交标注通信号灯，同时提供彩色图像和灰度图像

  • 分辨率为1280 x 960，交通标志分辨率为6x6 ~167x168 像素

  • 标注：47种交通标志，标注包括2D框和属性包括交通标志类型、位置、尺寸、是否被遮挡、是否位于路侧

  • 由安装在车辆车顶上的立体摄像机捕捉，该数据集中的图片仅包括左侧摄像机视图

  • 采集环境：美国加利福尼亚州圣地亚哥，夜间和白天以及不同的光线和天气条件下行驶

08

「LaRA ：交通信号灯视频数据集」

• 发布方：法国La Route Automatisée

• 下载地址：

  http://www.lara.prd.fr/benchmarks/trafficlightsrecognition

• 论文地址：

  https://ieeexplore.ieee.org/document/5164304

• 发布时间：2013年

• 大小：1.54GB

• 简介：城市道路场景中的交通信号灯数据集，相比于Bosch数据集，该数据集提供的交通灯图片像素比较低

• 特征

  • 8分钟视频，11179帧数据，帧率为25，分辨率为640×480

  • 9168个人工2D框标记的交通灯，四类标签（红灯、绿灯、黄灯、模糊），被标注的信号灯大小大于5像素

  • 采集环境：巴黎交通密集的城市街道，采用车载摄像机拍摄，车辆行驶速度低于50km/h

09

Chinese Traffic Sign Database

• 发布方：北京交通大学

• 下载地址：

  http://www.nlpr.ia.ac.cn/pal/trafficdata/recognition.html

• 特征

  • 6164张交通标志图像，包含58个标志类别

  • 数据集分为训练集和测试集。训练集包括4170张图片，而测试集包含1994张图片

  • 数据集收集于不同天气、光照条件等环境下，并包含部分遮挡等状况

10

「Udacity」

• 发布方：Udacity

• 下载地址：

  https://github.com/udacity/self-driving-car/tree/master/annotations

• 发布时间：2016年

• 简介：Udacity是Google开设的线上教育平台，其中有自动驾驶相关线上培训，它也为其自动驾驶算法比赛专门准备了数据集，对连续视频图片进行了2D标注，主要有汽车、行人、大型车辆等类别。数据集标注不如KITTI严谨

• 特征

  • 数据集1

    • 9,423帧图像，分辨率1920×1200，超过65000个标签

    • 大小：1.5GB

    • 标注：由CuldAI使用机器学习算法和标注员共同进行标注，包含汽车、卡车、行人三种标签

  • 数据集2

    • 15000帧，分辨率1920×1200

    • 大小：3.3GB

    • 包含汽车、卡车、行人、交通灯四种标签

    • 采集环境：包括在加利福尼亚和邻近城市在白天条件下行驶拍摄的图像

11

「JAAD」

• 发布方：约克大学 (York University)

• 下载地址： 

  https://github.com/ykotseruba/JAAD

• 论文地址：

  https://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w3/Rasouli_Are_They_Going_ICCV_2017_paper.pdf

• 发布时间：2017年

• 大小：3.1GB

• 简介：JAAD 是用于研究自动驾驶背景下联合注意力的数据集。重点是行人和驾驶员在交叉路口的行为以及影响他们的因素

• 特征

  • 包含 346 个视频片段，帧率为30，时长5-10秒，82,032帧

  • 标注：

    • 2793名行人，378,643个2D标注框

    • 不同的标签框：行走、站立、过马路、查看交通状况

    • 行人属性：年龄、性别、服饰、运动方向

    • 每个视频都带有时间和天气属性

  • 采集环境：3个车载摄像头采集，北美和东欧各种天气条件下日常城市驾驶的典型场景

12

「NYC3DCars数据集」

• 发布方：康奈尔大学

• 下载地址：

  http://nyc3d.cs.cornell.edu/#download

• 论文地址：

  https://www.cs.cornell.edu/~snavely/publications/papers/nyc3dcars_iccv13.pdf

• 发布时间：2013年

• 简介：NYC3DCars中的每张照片都集合了现实地理空间的数据。集成了诸如OpenStreetMap和NYC OpenData提供的数据库，以便识别道路的地理特征

• 特征

  • 2000张带标注图片，3787辆被标注车辆

  • 标注：对车辆进2D标注。包括车辆位置，车辆类型，地理位置，被遮挡的程度和时间

  • 图像数据背景：图片来自互联网，范围涵盖纽约交通密集地区、不同视角、一天中的不同时间

13

「Elektra (CVC-14)」

• 发布方：Universitat Autònoma de Barcelona

• 下载地址：

  http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc-14-visible-fir-day-night-pedestrian-sequence-dataset/

• 论文：

  Adapting Pedestrian Detection from Synthetic to Far Infrared Images

• 发布时间：2016年

• 大小：3.2GB

• 简介：该数据集利用远红外摄像机的优势，可以同时收集白天和夜晚的图像信息。通过合成图像作为训练数据，大大减少了人工标注工作量

• 特征

  • 红外数据集分为白天和夜晚数据集：白天包括3110张训练集和2880张测试集，夜晚包含2198张训练集和2883张测试集

  • 白天包含2000名行人，夜间包含500名行人

  • 采集环境：巴塞罗那的城市街道，包括白天和夜晚场景

14

「Highway Workzones」

• 发布方：卡内基梅隆大学 (Carnegie Mellon University)

• 下载地址：

  http://www.andrew.cmu.edu/ user/jonghole/workzone/data/

• 论文地址：https://ieeexplore.ieee.org/abstract/document/6876163

• 发布时间：2015年

• 简介：该数据集用于训练识别高速公路行驶区域边界和驾驶环境变化的算法

• 特征

  • 6个高速公路上行驶视频数据，17000多张图片，共包含800多个交通标志

  • 标注：9种标签，包括高速公路的起始位置、限速变化、道路施工、车道变换标志和文字提示

  • 采集环境：春季/冬季，晴天/雨天/多云

15

「TME Motorway Dataset」

• 发布方：Czech Technical University in Prague & University of Parma

• 下载地址：

  http://cmp.felk.cvut.cz/data/motorway/

• 论文地址：

  http://cmp.felk.cvut.cz/data/motorway/paper/itsc2012.pdf

• 发布时间：2011年

• 简介：数据采集于意大利北部的高速公路，与一般的道路相比，高速公路上没有行人、没有对向来车、道路标志清晰以及道路平缓，同时高速公路上高速行驶的车辆和大车较多也构成了挑战

• 特征

  • 28个视频片段，总共27分钟视频数据，30000帧，图像分辨率为1024x768，提供的数据带有时间戳

  • 根据关照情况分为两个子集：daylight/sunset

  • 标注：半自动2D标注，只对车辆进行标注

  • 采集环境：意大利北部高速公路，涵盖不同的交通状况、车道数量、光照情况等