深度学习数据集大全

最近新增数据集

开源生物识别数据：http://openbiometrics.org/
Google Audioset：扩展了 632 个音频分类样本，并从 YouTube 视频中提取了 2，084，320 个人类标记的 10 秒声音片段。地址：https://research.google.com/audioset/
Uber 2B trip data：首次展示 2 百万公里的出行数据。地址：https://movement.uber.com/cities
Yelp Open Dataset：Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。
地址：https://www.yelp.com/dataset
Core50：用于连续目标识别的新数据集和基准。
地址：https://vlomonaco.github.io/core50/
Kaggle 数据集：https://www.kaggle.com/datasets
Data Portal：http://dataportals.org/
Open Data Monitor：https://opendatamonitor.eu/
Quandl Data Portal：https://www.quandl.com/
Mut1ny 头部/面部分割数据集：http://www.mut1ny.com/face-headsegmentation-dataset
Github 上的优秀公共数据集：https://www.kdnuggets.com/2015/04/awesome-public-datasets-github.html
头部 CT 扫描数据集：491 次扫描的 CQ500 数据集。
地址：http://headctstudy.qure.ai/

自然图像数据集

MNIST：手写数字图像。最常用的可用性检查。格式 25x25、居中、黑白手写数字。这是一项简单的任务——仅某部分适用于 MNIST，不意味着它有效。
地址：http://yann.lecun.com/exdb/mnist/
CIFAR10 / CIFAR100：32x32 彩色图像，10/100 类。虽然仍有趣却不再常用的可用性检查。
地址：http://www.cs.utoronto.ca/~kriz/cifar.html
Caltech 101：101 类物体的图片。
地址：http://www.vision.caltech.edu/Image_Datasets/Caltech101/
Caltech 256：256 类物体的图片。
地址：http://www.vision.caltech.edu/Image_Datasets/Caltech256/
STL-10 数据集：用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的 CIFAR-10。
地址：http://cs.stanford.edu/~acoates/stl10/
The Street View House Numbers (SVHN)：Google 街景中的门牌号码。可以把它想象成复现的户外 MNIST。
地址：http://ufldl.stanford.edu/housenumbers/
NORB：玩具摆件在各种照明和姿势下的双目图像。
地址：http://www.cs.nyu.edu/~ylclab/data/norb-v1.0/
Pascal VOC：通用图像分割/分类——对于构建真实世界图像注释不是非常有用，但对基线很有用。
地址：http://pascallin.ecs.soton.ac.uk/challenges/VOC/
Labelme：带注释图像的大型数据集。
地址：http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
ImageNet：新算法的客观图像数据集（de-facto image dataset）。许多图像 API 公司都有来自其 REST 接口的标签，这些标签近 1000 类;WordNet; ImageNet 的层次结构。
地址：http://image-net.org/
LSUN：具有很多辅助任务的场景理解（房间布局估计，显著性预测（saliency prediction）等），有关联竞赛。（associated competition）。
地址：http://lsun.cs.princeton.edu/2016/
MS COCO：通用图像理解/说明，有关联竞赛。
地址：http://mscoco.org/
COIL 20：不同物体在 360 度旋转中以每个角度成像。
地址：http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php
COIL100：不同物体在 360 度旋转中以每个角度成像。
地址：http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
Google 开源图像：有 900 万张图像的网址集合，这些图像通过知识共享（Creative Commons）被标注成 6000 多个类别。
地址：https://research.googleblog.com/2016/09/introducing-open-images-dataset.html

地理空间数据

OpenStreetMap：免费提供整个星球的矢量数据。它包含（旧版）美国人口普查局的数据。
地址：http://wiki.openstreetmap.org/wiki/Planet.osm
Landsat8：整个地球表面的卫星视角图，每隔几周更新一次。
地址：https://landsat.usgs.gov/landsat-8
NEXRAD：美国大气层的多普勒雷达扫描图。
地址： https://www.ncdc.noaa.gov/data-access/radar-data/nexrad
————————我是深度学习图像的分割线————————

人工数据集

Arcade Universe：一个人工数据集生成器，图像包含街机游戏 sprite，如 tetris pentomino / tetromino。该生成器基于 O. Breleux 的 bugland 数据集生成器。
地址：https://github.com/caglar/Arcade-Universe
以 Baby AI School 为灵感的数据集集合。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAISchool
Baby AI Shapes Dataset：区分 3 种简单形状。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIShapesDatasets
Baby AI Image And Question Dataset：一个问题-图像-答案数据集。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIImageAndQuestionDatasets
Deep Vs Shallow Comparison ICML2007：为实证评估深层架构而生成的数据集。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/DeepVsShallowComparisonICML2007
MnistVariations：在 MNIST 中引入受控变化。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/MnistVariations
RectanglesData：区分宽矩形和垂直矩形。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesData
ConvexNonConvex：区分凸形和非凸形状。
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/ConvexNonConvex
BackgroundCorrelation：嘈杂 MNIST 背景下相关度的控制
地址：http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BackgroundCorrelation

无人驾驶图象视频数据集

1.BIT车辆数据集 –来自北京智能信息技术实验室的数据集包含9,850幅车辆图像。这些图像按车辆类型分为以下六类：公共汽车，小型客车，小型货车，轿车，SUV和卡车。

2. 城市景观图像，对使用从德国驾驶的车辆拍摄的交通视频，该数据集包括2,975个图像对。每个单独的图像文件的左侧都有原始的静止帧，而右侧在语义上已分割了相同的帧。来自“城市景观图像对”数据集的样本图像

3. GTI车辆图像数据库 –此数据集包括3,425个道路上车辆的后角图像，以及3,900个没有车辆的道路图像。

4. 带边界框的KITTI对象检测 –取自卡尔斯鲁厄技术学院的基准套件，该数据集由该套件的对象检测部分中的图像组成。该图像数据集包括超过14,000张图像，这些图像由7,518张测试图像和7,481张训练图像组成，并在单独的文件中带有边界框标签。

5. LISA红绿灯数据集 –尽管此数据集不专注于车辆，但它仍然是用于训练自动车辆算法的非常有用的图像数据集。LISA交通信号灯数据集包括夜间和白天的视频，总计43,0007帧，其中包括带注释的113,888个交通信号灯。该数据集的重点是交通信号灯。但是，几乎所有车架中都装有交通信号灯和车辆。

6. 尼泊尔车辆-由加德满都街头拍摄的总共30部交通视频组成，该数据集包含从这些视频中裁剪的4,800辆车辆的图像。在4800张图像中，有1811张为两轮车，而2989张为四轮车。

7. 雨雪交通监控 –该数据集由22个视频组成，每个视频约5分钟。使用RGB彩色相机和红外热像仪捕获视频。因此，数据包括超过130,000个RGB热图像对。

8. 斯坦福汽车数据集 –来自斯坦福大学AI实验室的数据集包含196种不同类型汽车的16,185张图像。

9. 自动驾驶汽车的语义分割 –作为Lyft Udacity Challenge的一部分创建，此数据集包含5,000张图像和相应的语义分割标签。

10. TME高速公路数据集 –由28个视频片段组成，总计27分钟的视频，该数据集包括30,000多个带有车辆注释的帧。

人脸数据集

1)PubFig: Public Figures Face Database
哥伦比亚大学的公众人物脸部数据集，包含有200个人的58k+人脸图像
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1qYzDU7i 密码：fvja

2)Large-scale CelebFaces Attributes (CelebA) Dataset
由香港中文大学汤晓鸥教授实验室公布的大型人脸识别数据集。包含有200K张人脸图片，人脸属性有40多种
备注：主要用于人脸属性的识别
链接：https://pan.baidu.com/s/1o79BfWe 密码：4bo9

3)Colorferet
包含了1000多人的10000多张照片，每个人包括了不同表情，光照，姿态和年龄的照片。
备注：通用人脸库，包含通用测试标准
链接：https://pan.baidu.com/s/1nvmmPK1 密码：snyi

4)Multi-Task Facial Landmark (MTFL) dataset
包含了将近13000张人脸图片，均采自网络。
备注：人脸对齐
链接：https://pan.baidu.com/s/1kU4X6Az 密码：et35

5)BioID Face Database - FaceDB
包含了1521幅分辨率为384x286像素的灰度图像。 每一幅图像来自于23个不同的测试人员的正面角度的人脸。
备注：人脸检测
链接：https://pan.baidu.com/s/1mh7Du0w 密码：eygl

6)Labeled Faces in the Wild Home (LFW)
5k+人脸，超过13，000张人脸图像
备注：标准的人脸识别数据集
链接：https://pan.baidu.com/s/1bpMyYcv 密码：mkhw

7)Person identification in TV series
该数据集所选用的人脸照片来自于两部比较知名的电视剧，《吸血鬼猎人巴菲》和《生活大爆炸》。
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1geQKw6n 密码：o92j

8)CMUVASC & PIE Face dataset
该数据集中包含了来自68个人的40000张照片，其中又包括了每个人的13种姿态条件，43种光照条件和4种表情下的照片
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1o7S7YUQ 密码：jya4

9)YouTube Faces
1,595个人，3,425段视频
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1jIRAybW 密码：c27o

10)CASIA-FaceV5
该数据集包含了来自500个人的2500张亚洲人脸图片.
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1bpIvkLp 密码：o0ty

11)The CNBC Face Database
该数据集采集了200个人在不同状态下（不同的神情，装扮，发型等）的人脸照片。
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1o7FaN3s 密码：0jz1

12)CASIA-3D FaceV1
包含了来自123个人的4624张人脸图片
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1c1N2CLi 密码：ra7b

13)IMDB-WIKI
包含：IMDb中20k+个名人的460k+张图片 和维基百科62k+张图片, 总共： 523k+张图片
备注：名人年龄、性别
链接：https://pan.baidu.com/s/1hsQs8qK 密码：g74g

14）FDDB
2845张图片中的5171张脸
备注：标准人脸检测评测集
链接：https://pan.baidu.com/s/1bCHtds 密码：2os1

15）Caltech人脸数据库
10k+人脸，提供双眼和嘴巴的坐标位置
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1i5y7IOP 密码：qiwn

16）The Japanese Female Facial Expression (JAFFE) Database
213张图像，10个人。每个人为一组，每一组都含有7种表情，每种表情大概有3,4张样图。
备注：非限制场景下的人脸识别
链接：https://pan.baidu.com/s/1hrICsVq 密码：klve

17，Labelled Faces in the Wild：13000 个经过裁剪的人脸区域（使用已经用名称标识符标记过的 Viola-Jones）。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统。
18，UMD Faces：有 8501 个主题的 367，920 个面孔的带注释数据集。
19，CASIA WebFace：超过 10，575 个人经面部检测的 453，453 张图像的面部数据集。需要一些质量过滤。
20，MS-Celeb-1M：100 万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果。
21，Olivetti：一些人类的不同图像
22，Multi-Pie：The CMU Multi-PIE Face 数据库。
23，Face-in-Action：http://www.flintbox.com/public/project/5486/
24，JACFEE：日本和白种人面部情绪表达的图像。
25，FERET：面部识别技术数据库。
26，mmifacedb：MMI 面部表情数据库。
27，IndianFaceDatabase：
28，耶鲁人脸数据库：
29，耶鲁人脸数据库 B
30，Mut1ny 头部/面部分割数据集：像素超过 16K 的面部/头部分割图像

视频数据集

Youtube-8M：用于视频理解研究的大型多样化标记视频数据集。

文本数据集

20 newsgroups：分类任务，将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一，通常可用作纯分类的基准或任何 IR /索引算法的验证。
路透社新闻数据集：（较旧）纯粹基于分类的数据集，包含来自新闻专线的文本。常用于教程。
宾州树库：用于下一个单词或字符预测。
UCI‘s Spambase：来自著名的 UCI 机器学习库的（旧版）经典垃圾邮件数据集。根据数据集的组织细节，可以将它作为学习私人垃圾邮件过滤的基线。
Broadcast News：大型文本数据集，通常用于下一个单词预测。
文本分类数据集：来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等，范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo！和 AG。
WikiText：来自维基百科高质量文章的大型语言建模语料库，由 Salesforce MetaMind 策划。
SQuAD：斯坦福问答数据集——应用广泛的问答和阅读理解数据集，其中每个问题的答案都以文本形式呈现。
Billion Words 数据集：一种大型通用语言建模数据集。通常用于训练分布式单词表征，如 word2vec。
Common Crawl：网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集，因为它可在万维网进行抓取。
Google Books Ngrams：来自 Google book 的连续字符。当单词首次被广泛使用时，提供一种简单的方法来探索。
Yelp 开源数据集：Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。

问答数据集

Maluuba News QA 数据集：CNN 新闻文章中的 12 万个问答对。
Quora 问答对：Quora 发布的第一个数据集，包含重复/语义相似性标签。
CMU Q / A 数据集：手动生成的仿真问/答对，维基百科文章对其难度评分很高。
Maluuba 面向目标的对话：程序性对话数据集，对话旨在完成任务或做出决定。常用于聊天机器人。
bAbi：来自 Facebook AI Research（FAIR）的综合阅读理解和问答数据集。
The Children’s Book Test：Project Gutenberg 提供的儿童图书中提取的（问题+背景、答案）对的基线。用于问答（阅读理解）和仿真查找。

情感数据集

多领域情绪分析数据集：较旧的学术数据集。
IMDB：用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。
Stanford Sentiment Treebank：标准情感数据集，在每个句子解析树的每个节点都有细粒度的情感注释。

推荐和排名系统

Movielens：来自 Movielens 网站的电影评分数据集，各类大小都有。
Million Song 数据集：Kaggle 上元数据丰富的大型开源数据集，可以帮助人们使用混合推荐系统。
Last.fm：音乐推荐数据集，可访问深层社交网络和其它可用于混合系统的元数据。
Book-Crossing 数据集：来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分。
Jester：来自 73,421 名用户对 100 个笑话的 410 万个连续评分（分数从-10 至 10）。
Netflix Prize：Netflix 发布了他们的电影评级数据集的匿名版；包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现，只能提供非正式版。

网络和图形

Amazon Co-Purchasing：亚马逊评论从「购买此产品的用户也购买了……」这一部分抓取数据，以及亚马逊相关产品的评论数据。适合在网络中试行推荐系统。
Friendster 社交网络数据集：在变成游戏网站之前，Friendster 以朋友列表的形式为 103,750,348 名用户发布了匿名数据。
地址：https://archive.org/details/friendster-dataset-201107

语音数据集

2000 HUB5 English：最近在 Deep Speech 论文中使用的英语语音数据，从百度获取。
LibriSpeech：包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成，包含带有文本和语音的章节。
VoxForge：带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。
TIMIT：英语语音识别数据集。
CHIME：嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9000 个录音构成，仿真录音由多个语音环境和清晰的无噪声录音结合而成。
TED-LIUM：TED 演讲的音频转录。1495 个 TED 演讲录音以及这些录音的文字转录。

音符音乐数据集

Piano-midi.de: 古典钢琴曲
Nottingham : 超过 1000 首民谣
MuseData: 古典音乐评分的电子图书馆
JSB Chorales: 四部协奏曲

政府&统计数据

Data USA: 最全面的可视化美国公共数据。
欧盟性别统计数据库：http://eige.europa.eu/gender-statistics
荷兰国家地质研究数据
联合国开发计划署项目

人脸口罩数据集

链接: https://pan.baidu.com/s/1Vly3K-0qjlB6M2lenTZ8PA 提取码: xhze

已标注数据集说明如下： 不同于人脸口罩识别（或检测）数据集，口罩人脸识别样本集须得包含同一人的多张戴口罩与未戴口罩的人脸图像，为此，我们建立了两种口罩人脸识别样本集。
(1) 真实口罩人脸识别数据集：从网络爬取样本，经过整理、清洗和标注后，含525人的5千张口罩人脸、9万正常人脸。
下载地址： https://pan.baidu.com/s/1XvGepj84SCA9rlVb9rGhEQ 密码：j3aq

(2) 模拟口罩人脸识别数据集： 给公开数据集中的人脸戴上口罩，得到1万人、50万张人脸的模拟口罩人脸数据集。

WebFace模拟口罩人脸数据集：

下载地址： https://pan.baidu.com/s/1Qi_8D_kH2QCm761elZs5YA 密码: 77m8
LFW模拟口罩人脸数据集:

下载地址：https://pan.baidu.com/s/1Ge0KcYgu6oVAbLlDHCKwRg 密码: o126

其他参考数据集

常用图像数据集大全（分类，跟踪，分割，检测等）
开放数据源-社会、经济、地理、空间，数据科学家的宝库