为防丢失,进行记录
大学公开数据集
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】
http://cvgl.stanford.edu/projects/uav_data/
人脸素描数据集【CUHK】
http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html
自然语言推理(文本蕴含标记)数据集【NYU】
https://www.nyu.edu/projects/bowman/multinli/
Berkeley图像分割数据集BSDS500【Berkeley】
https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resources.html
宠物图片(分割)数据集【Oxford】
http://www.robots.ox.ac.uk/~vgg/data/pets/
发布ADE20K场景感知/解析/分割/多目标识别数据集【MIT】
https://groups.csail.mit.edu/vision/datasets/ADE20K/
多模态二元行为数据集【GaTech】
http://www.cbi.gatech.edu/mmdb/
计算机视觉/图像/视频数据集
Fashion-MNIST风格服饰图像数据集【肖涵】
https://github.com/zalandoresearch/fashion-mnist
大型(50万)LOGO标志数据集
https://data.vision.ee.ethz.ch/cvl/lld/
4D扫描(60fps移动非刚性物体3D扫描)数据集【D-FAUST】
http://dfaust.is.tue.mpg.de
基于MNIST的视觉计数合成数据集Counting MNIST
http://fomoro.com/tools/counting-mnist/
YouTube MV视频数据集【Keunwoo Choi】
https://github.com/keunwoochoi/YouTube-music-video-5M
计算机视觉合成数据集/工具大列表【unrealcv】
https://github.com/unrealcv/synthetic-computer-vision
动物属性标记数据集【ChristophH. Lampert/Daniel Pucher/JohannesDostal】
http://cvml.ist.ac.at/AwA2/
日本漫画数据集Manga109
http://dl.acm.org/citation.cfm?doid=3011549.3011551
俯拍舞蹈视频数据集
http://homepages.inf.ed.ac.uk/rbf/CEILIDHDATA/
Pixiv(着色)图片数据集【Jerry Li】
https://github.com/jerryli27/pixiv_dataset
e-VDS视频数据集
https://engineering.purdue.edu/elab/eVDS/#download
Quick, Draw!简笔画涂鸦数据集
https://github.com/googlecreativelab/quickdraw-dataset
简笔画涂鸦数据集【hardmaru】
https://github.com/hardmaru/sketch-rnn-datasets
服饰人像生成模型(&Chictopia10K[HumanParsing]时尚人像解析数据集)【Christoph Lassner/Gerard Pons-Moll/Peter V. Gehler】
http://files.is.tue.mpg.de/classner/gp/
COCO像素级标注数据集
https://github.com/nightrome/cocostuff
大规模街道级图片(分割)数据集【Peter Kontschieder】
http://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html
大规模日语图片描述数据集
https://github.com/STAIR-Lab-CIT/STAIR-captions
Cityscapes街景语义分割数据集(50城30类5k细标20k粗标图片及标记视频)
https://github.com/mcordts/cityscapesScripts
(街头)时尚服饰数据集(2000+标注图片)
https://github.com/bearpaw/clothing-co-parsing
PyTorch实现的VOC2012数据集Pixel-wise目标分割【BodoKaiser】
https://github.com/bodokaiser/piwise
Twenty Billion Neurons对象复杂运动与交互视频数据集【Nikita Johnson】
https://www.re-work.co/blog/the-something-something-video-dataset
文本/评价/问答/自然语言数据集
(20万)英文笑话数据集【TaivoPungas】
https://github.com/taivop/joke-dataset
机器学习保险行业问答开放数据集【HainWang】
https://github.com/shuzi/insuranceQA
保险行业问答(QA)数据集【Minwei Feng】
https://github.com/shuzi/insuranceQA
Stanford NLP发布新的多轮、跨域、任务导向对话数据集【Mihail Eric】
https://github.com/keunwoochoi/YouTube-music-video-5M
实体/名词语义关系标记数据集【David S. Batista】
https://github.com/davidsbatista/Annotated-Semantic-Relationships-Datasets
NLVR:自然语言基础数据集(对象分组、数量、比较及空间关系推理)
http://lic.nlp.cornell.edu/nlvr/
2.8万文章/10万问题大规模(英语考试)阅读理解数据集
https://github.com/qizhex/RACE_AR_baselines
错误拼写数据集
http://www.dcs.bbk.ac.uk/~ROGER/corpora.html
文本简化数据集
http://www.cs.pomona.edu/~dkauchak/simplification/
英语词/句/语义框架框架标注数据集FrameNet
https://framenet.icsi.berkeley.edu/fndrupal/
(又一个)自然语言处理(NLP)数据集列表【Nicolas Iderhoff】
https://github.com/niderhoff/nlp-datasets
跨语种/多样式/多粒度文本相似性检测数据集
https://github.com/FerreroJeremy/Cross-Language-Dataset
Quora数据集:400000行潜在重复问题
http://qim.ec.quoracdn.net/quora_duplicate_questions.tsv
文本分类数据集
http://disi.unitn.it/moschitti/corpora.htm
Frames:Maluuba对话数据集
https://datasets.maluuba.com/Frames/dl
跨域(Amazon商品评论)情感数据集
http://www.cs.jhu.edu/~mdredze/datasets/sentiment/
语义网机器学习系统评价/基准数据集集合
http://dws.informatik.uni-mannheim.de/en/research/a-collection-of-benchmark-datasets-for-ml
其它数据集
数据科学/机器学习数据集汇总
https://elitedatascience.com/datasets
CORe50:连续目标识别数据集【VincenzoLomonaco&DavideMaltoni】
https://vlomonaco.github.io/core50/
(Matlab)数据集统计分布自动发现【Isabel Valera】
http://proceedings.mlr.press/v70/valera17a.html
(建筑物)损害评估数据集【tsunami】
https://github.com/faiton713/ABCDdataset
IndieWeb社交图谱数据集【IndieWeb】
http://www.indiemap.org
DeepMind开源环境/数据集/代码集合【DeepMind】
https://deepmind.com/research/open-source/
鸟叫声数据集【xeno-canto】
http://www.xeno-canto.org
Wolfram数据集仓库
https://datarepository.wolframcloud.com
大型音乐分析数据集FMA
https://github.com/mdeff/fma
(300万)Instacart在线杂货购物数据集【Jeremy Stanley】
https://tech.instacart.com/3-million-instacart-orders-open-sourced-d40d29ead6f2
用于欺诈检测的合成财务数据集【TESTIMON】
https://www.kaggle.com/ntnu-testimon/paysim1
NSynth:大规模高质量音符标记音频数据集
https://magenta.tensorflow.org/datasets/nsynth
LIBSVM格式分类/回归/多标签/字符串数据集
https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html
笔记本电脑用logistic回归拟合100G数据集【DmitriySelivanov】
http://dsnotes.com/post/2017-02-07-large-data-feature-hashing-and-online-learning-part-2/
StackExchange近似/重复问题数据集
http://nlp.cis.unimelb.edu.au/resources/cqadupstack/
2010-2017最全KDD CUP赛题回顾及数据集
http://suo.im/2kRoQ1
食谱数据集:带有评级、营养及类别信息的超过2万种食谱【HugoDarwood】
https://www.kaggle.com/hugodarwood/epirecipes
奥斯卡数据集【Academy of Motion Picture Arts and Sciences】
https://www.kaggle.com/theacademy/academy-awards
计算医疗库:(TensorFlow)大型医疗数据集分析与机器学习建模【AkshayBhat】
https://github.com/AKSHAYUBHAT/ComputationalHealthcare
聚类数据集
https://cs.joensuu.fi/sipu/datasets/
官方开放气候数据集
https://pan.baidu.com/s/1i52Xarb
全球恐怖袭击事件数据集【START Consortium】
https://www.kaggle.com/START-UMD/gtd
七个机器学习时序数据集
https://machinelearningmastery.com/time-series-datasets-for-machine-learning/
大型众包关系数据库自然语言查询语义解析数据集(8万+查询样本)
http://t.cn/RNMr09n
赛马赔率数据集
http://t.cn/RNf0tXN
新的YELP数据集:包含470万评论和15.6万商家
http://t.cn/RNG6JYi
JMIR数据集专刊《JMIR Data》
http://t.cn/RCIhmvS
用于评价监督机器学习算法的基准数据集
https:// github.com/EpistasisLab/penn-ml-benchmarks
人口普查收入数据集分类
https:// github.com/dformoso/sklearn-classification
日文木版印刷文字识别数据集
http://t.cn/RCZPfYB
多模态二元行为数据集
http://t.cn/RCzFn1g
(TensorFlow)AudioSet音频事件数据集分类模型
GitHub: tensorflow/models/tree/master/audioset
Facebook星际争霸游戏数据集
(TorchCraft可读/365GB/6万多场次/15亿帧画面/近5亿用户操作)
http://t.cn/R9j8AUM
机器学习论文/数据集/工具集锦(日文)
http://t.cn/RKV7x2A
机器学习公司的十大数据搜集策略
http://t.cn/R54rtvd
NLP数据集加载工具集
http://t.cn/RaYwYXl
日语相似词数据集
http://t.cn/RaVFV35
大规模人本完形填空(多选阅读理解)数据集
http://t.cn/Rac2Pey
高质量免费数据集列表
http://t.cn/R6B1aqa
《数据之美》自然语言数据集/代码
http://t.cn/hBOTM4
微软数据集MS MARCO,阅读理解领域的「ImageNet」
http://t.cn/RIMqGBK
AI2科学问答数据集(多选)
http://t.cn/RI5liwJ
常用图像数据集大全
(分类,跟踪,分割,检测等)
1. 搜狗实验室数据集:
http://www.sogou.com/labs/dl/p.html
互联网图片库来自sogou图片搜索所索引的部分数据。其中收集了包括人物、动物、建筑、机械、风景、运动等类别,总数高达2,836,535张图片。对于每张图片,数据集中给出了图片的原图、缩略图、所在网页以及所在网页中的相关文本。200多G
2. http://www.imageclef.org/
IMAGECLEF致力于位图片相关领域提供一个基准(检索、分类、标注等等) Cross Language Evaluation Forum (CLEF) 。从2003年开始每年举行一次比赛.
http://staff.science.uva.nl/~xirong/index.php?n=Main.Dataset
最近新增数据集
1. 开源生物识别数据。
地址:http://openbiometrics.org/
2. Google Audioset:扩展了 632 个音频分类样本,并从 YouTube 视频中提取了 2,084,320 个人类标记的 10 秒声音片段。
地址:https://research.google.com/audioset/
3. Uber 2B trip data:首次展示 2 百万公里的出行数据。
地址:https://movement.uber.com/cities
4. Yelp Open Dataset:Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。
地址:https://www.yelp.com/dataset
5. Core50:用于连续目标识别的新数据集和基准。
地址:https://vlomonaco.github.io/core50/
6. Kaggle 数据集。
地址:https://www.kaggle.com/datasets
7. Data Portal。
地址:http://dataportals.org/
8. Open Data Monitor。
地址:https://opendatamonitor.eu/
9. Quandl Data Portal。
地址:https://www.quandl.com/
10. Mut1ny 头部/面部分割数据集。
地址:http://www.mut1ny.com/face-headsegmentation-dataset
11. Github 上的优秀公共数据集。
地址:https://www.kdnuggets.com/2015/04/awesome-public-datasets-github.html
12. 头部 CT 扫描数据集:491 次扫描的 CQ500 数据集。
地址:http://headctstudy.qure.ai/
02
自然图像数据集
1. MNIST:手写数字图像。最常用的可用性检查。格式 25x25、居中、黑白手写数字。这是一项简单的任务——仅某部分适用于 MNIST,不意味着它有效。
地址:http://yann.lecun.com/exdb/mnist/
2. CIFAR10 / CIFAR100:32x32 彩色图像,10/100 类。虽然仍有趣却不再常用的可用性检查。
地址:http://www.cs.utoronto.ca/~kriz/cifar.html
3. Caltech 101:101 类物体的图片。
地址:http://www.vision.caltech.edu/Image_Datasets/Caltech101/
4. Caltech 256:256 类物体的图片。
地址:http://www.vision.caltech.edu/Image_Datasets/Caltech256/
5. STL-10 数据集:用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。像修改过的 CIFAR-10。
地址:http://cs.stanford.edu/~acoates/stl10/
6. The Street View House Numbers (SVHN):Google 街景中的门牌号码。可以把它想象成复现的户外 MNIST。
地址:http://ufldl.stanford.edu/housenumbers/
7. NORB:玩具摆件在各种照明和姿势下的双目图像。
地址:http://www.cs.nyu.edu/~ylclab/data/norb-v1.0/
8. Pascal VOC:通用图像分割/分类——对于构建真实世界图像注释不是非常有用,但对基线很有用。
地址:http://pascallin.ecs.soton.ac.uk/challenges/VOC/
9. Labelme:带注释图像的大型数据集。
地址:http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php
10. ImageNet:新算法的客观图像数据集(de-facto image dataset)。许多图像 API 公司都有来自其 REST 接口的标签,这些标签近 1000 类;WordNet; ImageNet 的层次结构。
地址:http://image-net.org/
11. LSUN:具有很多辅助任务的场景理解(房间布局估计,显著性预测(saliency prediction)等),有关联竞赛。(associated competition)。
地址:http://lsun.cs.princeton.edu/2016/
12. MS COCO:通用图像理解/说明,有关联竞赛。
地址:http://mscoco.org/
13. COIL 20:不同物体在 360 度旋转中以每个角度成像。
地址:http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php
14. COIL100:不同物体在 360 度旋转中以每个角度成像。
地址:http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php
15. Google 开源图像:有 900 万张图像的网址集合,这些图像通过知识共享(Creative Commons)被标注成 6000 多个类别。
地址:https://research.googleblog.com/2016/09/introducing-open-images-dataset.html
03
地理空间数据
1. OpenStreetMap:免费提供整个星球的矢量数据。它包含(旧版)美国人口普查局的数据。
地址:http://wiki.openstreetmap.org/wiki/Planet.osm
2. Landsat8:整个地球表面的卫星视角图,每隔几周更新一次。
地址:https://landsat.usgs.gov/landsat-8
3. NEXRAD:美国大气层的多普勒雷达扫描图。
地址:https://www.ncdc.noaa.gov/data-access/radar-data/nexrad
我是深度学习图像的分割线
04
人工数据集
1. Arcade Universe:一个人工数据集生成器,图像包含街机游戏 sprite,如 tetris pentomino / tetromino。该生成器基于 O. Breleux 的 bugland 数据集生成器。
地址:https://github.com/caglar/Arcade-Universe
2. 以 Baby AI School 为灵感的数据集集合。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAISchool
3. Baby AI Shapes Dataset:区分 3 种简单形状。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIShapesDatasets
4. Baby AI Image And Question Dataset:一个问题-图像-答案数据集。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BabyAIImageAndQuestionDatasets
5. Deep Vs Shallow Comparison ICML2007:为实证评估深层架构而生成的数据集。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/DeepVsShallowComparisonICML2007
6. MnistVariations:在 MNIST 中引入受控变化。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/MnistVariations
7. RectanglesData:区分宽矩形和垂直矩形。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/RectanglesData
8. ConvexNonConvex:区分凸形和非凸形状。
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/ConvexNonConvex
9. BackgroundCorrelation:嘈杂 MNIST 背景下相关度的控制
地址:http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/BackgroundCorrelation
05
人脸数据集
1. Labelled Faces in the Wild:13000 个经过裁剪的人脸区域(使用已经用名称标识符标记过的 Viola-Jones)。数据集中每个人员的子集里包含两个图像——人们常用此数据集训练面部匹配系统。
地址:http://vis-www.cs.umass.edu/lfw/
2. UMD Faces:有 8501 个主题的 367,920 个面孔的带注释数据集。
地址:http://www.umdfaces.io/
3. CASIA WebFace:超过 10,575 个人经面部检测的 453,453 张图像的面部数据集。需要一些质量过滤。
地址:http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html
4. MS-Celeb-1M:100 万张全世界的名人图片。需要一些过滤才能在深层网络上获得最佳结果。
地址:https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/
5. Olivetti:一些人类的不同图像。
地址:http://www.cs.nyu.edu/~roweis/data.html
6. Multi-Pie:The CMU Multi-PIE Face 数据库。
地址:http://www.multipie.org/
7. Face-in-Action。
地址:http://www.flintbox.com/public/project/5486/
8. JACFEE:日本和白种人面部情绪表达的图像。
地址:http://www.humintell.com/jacfee/
9. FERET:面部识别技术数据库。
地址:http://www.itl.nist.gov/iad/humanid/feret/feret_master.html
10. mmifacedb:MMI 面部表情数据库。
地址:http://www.mmifacedb.com/
11. IndianFaceDatabase。
地址:http://vis-www.cs.umass.edu/~vidit/IndianFaceDatabase/
12. 耶鲁人脸数据库。
地址:http://vision.ucsd.edu/content/yale-face-database
13. 耶鲁人脸数据库 B。
地址:http://vision.ucsd.edu/~leekc/ExtYaleDatabase/ExtYaleB.html
14. Mut1ny 头部/面部分割数据集:像素超过 16K 的面部/头部分割图像
地址:http://www.mut1ny.com/face-headsegmentation-dataset
我是深度学习视频的分割线
06
视频数据集
Youtube-8M:用于视频理解研究的大型多样化标记视频数据集。
地址:https://research.googleblog.com/2016/09/announcing-youtube-8m-large-and-diverse.html
07
文本数据集
1. 20 newsgroups:分类任务,将出现的单词映射到新闻组 ID。用于文本分类的经典数据集之一,通常可用作纯分类的基准或任何 IR /索引算法的验证。
地址:http://qwone.com/~jason/20Newsgroups/
2. 路透社新闻数据集:(较旧)纯粹基于分类的数据集,包含来自新闻专线的文本。常用于教程。
地址:https://archive.ics.uci.edu/ml/datasets/Reuters-21578+Text+Categorization+Collection
3. 宾州树库:用于下一个单词或字符预测。
地址:http://www.cis.upenn.edu/~treebank/
4. UCI‘s Spambase:来自著名的 UCI 机器学习库的(旧版)经典垃圾邮件数据集。根据数据集的组织细节,可以将它作为学习私人垃圾邮件过滤的基线。
地址:https://archive.ics.uci.edu/ml/datasets/Spambase
5. Broadcast News:大型文本数据集,通常用于下一个单词预测。
地址:http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC97S44
6. 文本分类数据集:来自 Zhang et al., 2015。用于文本分类的八个数据集合集。这些是用于新文本分类基线的基准。样本大小从 120K 至 3.6M 不等,范围从二进制到 14 个分类问题。数据集来自 DBPedia、亚马逊、Yelp、Yahoo!和 AG。
地址:https://drive.google.com/drive/u/0/folders/0Bz8a_Dbh9Qhbfll6bVpmNUtUcFdjYmF2SEpmZUZUcVNiMUw1TWN6RDV3a0JHT3kxLVhVR2M
7. WikiText:来自维基百科高质量文章的大型语言建模语料库,由 Salesforce MetaMind 策划。
地址:http://metamind.io/research/the-wikitext-long-term-dependency-language-modeling-dataset/
8. SQuAD:斯坦福问答数据集——应用广泛的问答和阅读理解数据集,其中每个问题的答案都以文本形式呈现。
地址:https://rajpurkar.github.io/SQuAD-explorer/
9. Billion Words 数据集:一种大型通用语言建模数据集。通常用于训练分布式单词表征,如 word2vec。
地址:http://www.statmt.org/lm-benchmark/
10. Common Crawl:网络的字节级抓取——最常用于学习单词嵌入。可从 Amazon S3 上免费获取。也可以用作网络数据集,因为它可在万维网进行抓取。
地址:http://commoncrawl.org/the-data/
11. Google Books Ngrams:来自 Google book 的连续字符。当单词首次被广泛使用时,提供一种简单的方法来探索。
地址:https://aws.amazon.com/datasets/google-books-ngrams/
12. Yelp 开源数据集:Yelp 数据集是用于 NLP 的 Yelp 业务、评论和用户数据的子集。
地址:https://www.yelp.com/dataset
我是深度学习文本的分割线
08
问答数据集
1. Maluuba News QA 数据集:CNN 新闻文章中的 12 万个问答对。
地址:https://datasets.maluuba.com/NewsQA
2. Quora 问答对:Quora 发布的第一个数据集,包含重复/语义相似性标签。
地址:https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs
3. CMU Q / A 数据集:手动生成的仿真问/答对,维基百科文章对其难度评分很高。
地址:http://www.cs.cmu.edu/~ark/QA-data/
4. Maluuba 面向目标的对话:程序性对话数据集,对话旨在完成任务或做出决定。常用于聊天机器人。
地址:https://datasets.maluuba.com/Frames
5. bAbi:来自 Facebook AI Research(FAIR)的综合阅读理解和问答数据集。
地址:https://research.fb.com/projects/babi/
6. The Children’s Book Test:Project Gutenberg 提供的儿童图书中提取的(问题+背景、答案)对的基线。用于问答(阅读理解)和仿真查找。
地址:http://www.thespermwhale.com/jaseweston/babi/CBTest.tgz
09
情感数据集
1. 多领域情绪分析数据集:较旧的学术数据集。
地址:http://www.cs.jhu.edu/~mdredze/datasets/sentiment/
2. IMDB:用于二元情感分类的较旧、较小数据集。对文献中的基准测试无法支持更大的数据集。
地址:http://ai.stanford.edu/~amaas/data/sentiment/
3. Stanford Sentiment Treebank:标准情感数据集,在每个句子解析树的每个节点都有细粒度的情感注释。
地址:http://nlp.stanford.edu/sentiment/code.html
10
推荐和排名系统
1. Movielens:来自 Movielens 网站的电影评分数据集,各类大小都有。
地址:https://grouplens.org/datasets/movielens/
2. Million Song 数据集:Kaggle 上元数据丰富的大型开源数据集,可以帮助人们使用混合推荐系统。
地址:https://www.kaggle.com/c/msdchallenge
3. Last.fm:音乐推荐数据集,可访问深层社交网络和其它可用于混合系统的元数据。
地址:http://grouplens.org/datasets/hetrec-2011/
4. Book-Crossing 数据集:来自 Book-Crossing 社区。包含 278,858 位用户提供的约 271,379 本书的 1,149,780 个评分。
地址:http://www.informatik.uni-freiburg.de/~cziegler/BX/
5. Jester:来自 73,421 名用户对 100 个笑话的 410 万个连续评分(分数从-10 至 10)。
地址:http://www.ieor.berkeley.edu/~goldberg/jester-data/
6. Netflix Prize:Netflix 发布了他们的电影评级数据集的匿名版;包含 480,000 名用户对 17,770 部电影的 1 亿个评分。首个主要的 Kaggle 风格数据挑战。随着隐私问题的出现,只能提供非正式版。
地址:http://www.netflixprize.com/
我是深度学习图表的分割线
11
网络和图形
1. Amazon Co-Purchasing:亚马逊评论从「购买此产品的用户也购买了……」这一部分抓取数据,以及亚马逊相关产品的评论数据。适合在网络中试行推荐系统。
地址:http://snap.stanford.edu/data/#amazon
2. Friendster 社交网络数据集:在变成游戏网站之前,Friendster 以朋友列表的形式为 103,750,348 名用户发布了匿名数据。
地址:https://archive.org/details/friendster-dataset-201107
12
语音数据集
1. 2000 HUB5 English:最近在 Deep Speech 论文中使用的英语语音数据,从百度获取。
地址:https://catalog.ldc.upenn.edu/LDC2002T43
2. LibriSpeech:包含文本和语音的有声读物数据集。由多个朗读者阅读的近 500 小时的各种有声读物演讲内容组成,包含带有文本和语音的章节。
地址:http://www.openslr.org/12/
3. VoxForge:带口音的清晰英语语音数据集。适用于提升不同口音或语调鲁棒性的案例。
地址:http://www.voxforge.org/
4. TIMIT:英语语音识别数据集。
地址:https://catalog.ldc.upenn.edu/LDC93S1
5. CHIME:嘈杂的语音识别挑战数据集。数据集包含真实、仿真和干净的录音。真实录音由 4 个扬声器在 4 个嘈杂位置的近 9000 个录音构成,仿真录音由多个语音环境和清晰的无噪声录音结合而成。
地址:http://spandh.dcs.shef.ac.uk/chime_challenge/data.html
6. TED-LIUM:TED 演讲的音频转录。1495 个 TED 演讲录音以及这些录音的文字转录。
地址:http://www-lium.univ-lemans.fr/en/content/ted-lium-corpus
我是深度学习音频的分割线
13
音符音乐数据集
1. Piano-midi.de: 古典钢琴曲
地址:http://www.piano-midi.de/
2. Nottingham : 超过 1000 首民谣
地址:http://abc.sourceforge.net/NMD/
3. MuseData: 古典音乐评分的电子图书馆
地址:http://musedata.stanford.edu/
4. JSB Chorales: 四部协奏曲
地址:http://www.jsbchorales.net/index.shtml
14
其它数据集
1. CMU 动作抓取数据集。
地址:http://mocap.cs.cmu.edu/
2. Brodatz dataset:纹理建模。
地址:http://www.ux.uis.no/~tranden/brodatz.html
3. 来自欧洲核子研究中心的大型强子对撞机(LHC)的 300TB 高质量数据。
地址:http://opendata.cern.ch/search?ln=en&p=Run2011A+AND+collection:CMS-Primary-Datasets+OR+collection:CMS-Simulated-Datasets+OR+collection:CMS-Derived-Datasets
4. 纽约出租车数据集:由 FOIA 请求而获得的纽约出租车数据,导致隐私问题。
地址:http://www.nyc.gov/html/tlc/html/about/trip_record_data.shtml
5. Uber FOIL 数据集:来自 Uber FOIL 请求的纽约 4.5M 拾取数据。
地址:https://github.com/fivethirtyeight/uber-tlc-foil-response
6. Criteo 点击量数据集:来自欧盟重新定位的大型互联网广告数据集。
地址:http://research.criteo.com/outreach/
15
健康 &生物数据
1. 欧盟传染病监测图集。
地址:http://ecdc.europa.eu/en/data-tools/atlas/Pages/atlas.aspx
2. 默克分子活动挑战。
地址:http://www.kaggle.com/c/MerckActivity/data
3. Musk dataset: Musk dataset 描述了以不同构造出现的分子。每个分子都是 musk 或 non-musk,且其中一个构造决定了这一特性。
地址:https://archive.ics.uci.edu/ml/datasets/Musk+(Version+2)
16
政府&统计数据
1. Data USA: 最全面的可视化美国公共数据。
地址:http://datausa.io/
2. 欧盟性别统计数据库。
地址:http://eige.europa.eu/gender-statistics
3. 荷兰国家地质研究数据。
地址:http://www.nationaalgeoregister.nl/geonetwork/srv/dut/search#fast=index&from=1&to=50&any_OR_geokeyword_OR_title_OR_keyword=landinrichting*&relation=within
4. 联合国开发计划署项目。
地址:http://open.undp.org/#2016