会发paper的学渣

数据集下载渠道汇总

NLP方向：Hugging Face – The AI community building the future.

Machine Learning Datasets | Papers With Code

阿里巴巴datahub:https://github.com/alibaba/EasyNLP/tree/master/datahub

清华官网整理数据集：openslr.org

聚数力：数据集 -- Labeled Faces in the Wild 数据集 | 聚数力平台 | 大数据应用要素托管与交易平台

文本分类（情感分析）中文数据集汇总
这段时间在公司NLP组里实习，相应的开始学习了一些NLP的知识，并搜索了一些关于NLP中文本分类领域的相关数据集，本文主要列举一些中文数据集。关于英语数据集，且听下回分解。

1.THUCNews数据集：
THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。使用THUCTC工具包在此数据集上进行评测，准确率可以达到88.6%。

数据集地址： http://thuctc.thunlp.org/

2.今日头条新闻文本分类数据集：
数据来源：今日头条客户端
数据规模：共382688条，分布于15个分类中。
数据格式：6552431613437805063_!_102_!_news_entertainment_!_谢娜为李浩菲澄清网络谣言，之后她的两个行为给自己加分_!_佟丽娅,网络谣言,快乐大本营,李浩菲,谢娜,观众们

每行为一条数据，以_!_分割的个字段，从前往后分别是
新闻ID，分类code（见下文），分类名称（见下文），新闻字符串（仅含标题），新闻关键词

数据集地址：https://github.com/fate233/toutiao-text-classfication-dataset

3.全网新闻数据(SogouCA)：
来自若干新闻站点2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

页面URL
页面ID
页面标题
页面内容

1
2
3
4
5
6
注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： https://www.sogou.com/labs/resource/ca.php

4.搜狐新闻数据(SogouCS)：
来自搜狐新闻2012年6月—7月期间国内，国际，体育，社会，娱乐等18个频道的新闻数据，提供URL和正文信息

数据格式为

页面URL
页面ID
页面标题
页面内容

1
2
3
4
5
6
7
注意：content字段去除了HTML标签，保存的是新闻正文文本

数据集地址： https://www.sogou.com/labs/resource/cs.php

5.ChnSentiCorp_htl_all数据集：
7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论

数据字段：
Label：1表示正向评论，0表示负向评论
Review：评论内容
1
2
3

数据集地址：
https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/ChnSentiCorp_htl_all/ChnSentiCorp_htl_all.csv

6.waimai_10k数据集：
某外卖平台收集的用户评价，正向4000 条，负向约 8000 条

数据字段：

Label：1表示正向评论，0表示负向评论
Review：评论内容
1
2
3
4

数据集地址：
https://raw.githubusercontent.com/SophonPlus/ChineseNlpCorpus/master/datasets/waimai_10k/waimai_10k.csv

7.online_shopping_10_cats数据集：
10 个类别（书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店），共 6 万多条评论数据，正、负向评论各约 3 万条

数据集下载地址：
https://github.com/SophonPlus/ChineseNlpCorpus/raw/master/datasets/online_shopping_10_cats/online_shopping_10_cats.zip

8.weibo_senti_100k数据集：
10 万多条，带情感标注新浪微博，正负向评论约各 5 万条。

数据集下载地址：
https://github.com/SophonPlus/ChineseNlpCorpus/blob/master/datasets/weibo_senti_100k/intro.ipynb

9.simplifyweibo_4_moods数据集：
36 万多条，带情感标注新浪微博，包含 4 种情感，其中喜悦约 20 万条，愤怒、厌恶、低落各约 5 万条

数据集下载地址：
https://pan.baidu.com/s/16c93E5x373nsGozyWevITg

10.dmsc_v2数据集：
28部电影，超70万用户，超200万条评分/评论数据

数据集地址：https://pan.baidu.com/s/1c0yn3TlkzHYTdEBz3T5arA

原始数据集地址：https://www.kaggle.com/utmhikari/doubanmovieshortcomments

11.yf_dianping数据集：
24 万家餐馆，54 万用户，440 万条评论/评分数据

数据集地址：https://pan.baidu.com/s/1yMNvHLl6QYsGbjT7u51Nfg
原始数据集地址：http://yongfeng.me/dataset/

12.yf_amazon数据集：
52 万件商品，1100 多个类目，142 万用户，720 万条评论/评分数据

原始数据集地址：http://yongfeng.me/dataset/
数据集地址：https://pan.baidu.com/s/1SbfpZb5cm-g2LmnYV_af8Q

13.Datahub数据中心：
包含文本分类、情感分析以及知识图谱的数据集

相关地址：http://www.datahub.ileadall42.com/data/list?category=2&parent_category=1

14.知乎看山杯数据集：
数据集下载地址：https://pan.baidu.com/s/1qUr6IQQn6DzrMlbaAUZslQ
提取码: qbiw

15.AI_challenger情感分析数据集：
数据集分为训练、验证、测试A与测试B四部分。数据集中的评价对象按照粒度不同划分为两个层次，层次一为粗粒度的评价对象，例如评论文本中涉及的服务、位置等要素；层次二为细粒度的情感对象，例如“服务”属性中的“服务人员态度”、“排队等候时间”等细粒度要素。

数据集下载地址：https://github.com/nju161250102/AI_challenger/tree/master/data

16.复旦中文文本分类语料库
数据链接:https://pan.baidu.com/s/1833mT2rhL6gBMlM0KnmyKg
密码:zyxa
原文链接：https://blog.csdn.net/alip39/article/details/95891321

视频数据集：

1.GOT-10K中科院发布了目标追踪数据集，1万多条视频，150万个边界框【新闻稿】【下载链接】

2.谷歌再度开放Youtube视频数据集——Youtube边界框（YouTube-BoundingBoxes），含23类共500万手动注释的、紧密贴合对象边界的边界框，精度高于95%。【新闻稿】【论文地址】【下载链接】

3.OTB 【下载链接】

4.VOT【下载链接】

5.YouTube-8M（用于多标签分类）---YouTube-BB【csdn介绍】【下载链接】

6.ALOV300++Dataset【下载链接】

7.MPISinteldataset (C-COT用的，2012年就有了，但是好像是用来测试你的光流法的)【下载链接】

8. VIVID Tracking，数据集里面包含9个序列，均是从高空拍摄的车辆视频图像，包括灰度图像和彩色图像，相对时间都比较长，目标也比较小，遮挡情况比较多。【下载链接】

9. UAV123 Dataset，数据集是均是通过无人机拍摄的彩色图像，但是需要下载，如果是做无人机目标跟踪方面的同学，此数据集一定必不可少。【下载链接】

12.Temple-Color，128数据集里面包含的全是彩色序列，部分序列也是和OTB重合的，如果算法只适用于彩色序列的话可以在此数据集上跑一下。【下载链接】

13.Tiny Images dataset，Tiny Images Dataset 是由近 80 万个微小图像组成的数据集，其包含 79,302,017 个尺寸为 32*32 的彩色图像，其主要用于机器视觉领域的图像分类。【下载链接】

多标签图像分类

1. AI Lab 正式开源业内最大规模多标签图像数据集ML-Images，包含了 1800 万图像和 1.1 万多种常见物体类别，在业内已公开的多标签图像数据集中规模最大，足以满足一般科研机构及中小企业的使用场景。【详细新闻稿】【下载链接】

衡量跨境追踪技术

跨境追踪技术可以让人工智能通过衣物、发型、体态等信息，跨摄像头跨场景准确追踪人的位置。目前主流视频集如下：

1．Market-1501，用于人员重新识别的数据集，该数据集是在清华大学一家超市门前收集的。总共使用了六台相机，其中包括五台高分辨率相机和一台低分辨率相机。不同相机之间存在重叠。总体而言，此数据集包含32,668个带注释的1,501个身份的边界框【下载链接】

2．CUHK03，MATLAB数据文件格式，1467个行人，收集自The Chinese University of Hong Kong校园内的10个(5对)不同的摄像头。【下载链接】

3．DukeMTMC-reID，DukeMTMC 数据集是一个大规模标记的多目标多摄像机行人跟踪数据集。它提供了一个由 8 个同步摄像机记录的新型大型高清视频数据集，具有 7,000 多个单摄像机轨迹和超过 2,700 多个独立人物，DukeMTMC-reID 是 DukeMTMC 数据集的行人重识别子集，并且提供了人工标注的bounding box。【下载链接】

动作识别

1. Kinetics是一个大规模、高质量的 YouTube 视频URL数据集，包含了各种各样的人类动作标记。【新闻稿】【下载链接】

自动驾驶

1.伯克利发布的BDD100K（目前规模最大的开放驾驶数据集）这篇文章里面有介绍，还有和其他的几个数据集的比较，感觉很优秀，这个数据集很新哦【下载链接】

2.这个链接里有好多（有30个哦~），最受欢迎的有KITTI【下载链接】、Daimler 【下载链接】、Caltech【下载链接】。

3.2018年3月，百度大规模自动驾驶数据集ApolloScape应需开放（还有一整套平台，有点优秀）【博文简介】

行为理解

1.谷歌最新发布一个电影片段数据集AVA，旨在教机器理解人的活动。该数据集以人类为中心进行标注，包含80类动作的 57600 个视频片段，有助于人类行为识别系统的研究。【下载链接】【论文地址】

医学

1.MURA 吴恩达团队公布最大医学影像数据集，包含 14982 个病例的上肢肌肉骨骼X光片。每个病例包含一个或多个图像，均由放射科医师手动标记。【下载链接】【论文地址】

比赛数据

1.全球AI 挑战赛由创新工场、搜狗、美团点评、美图联合主办。【地址】（2018年的数据集很有意思）

图像识别

1.MNIST。手写数字图片的数据库，里面有60,000个训练样本和10,000个测试样本，每个样本是28x28像素的黑白图片。【下载链接】

2. CIFAR-10和CIFAR-100被标记为8000万个微小图像数据集的子集。他们由Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集。【下载链接】

人脸关键点检测

1.csdn的一篇博客，里面收集的有论文和数据集。

航拍数据

1.VEDAI：VEDAI是航空图像中的车辆检测数据集，是在无约束环境下对自动目标识别算法进行基准测试的工具。数据库中所包含的车辆，除了体积小外，还表现出不同的变化，如多方位、照明/阴影变化、推测或遮挡。【下载链接】

Torchvision.dataset里面拥有的数据集

1. COCO数据集：COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。这个数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。图像包括91类目标，328,000影像和2,500,000个label，虽然比 ImageNet 包含的类型少，但是每一类物体的图像较多，是目前每幅图像平均包含目标数最多的数据集。 MS COCO 不仅用于目标检测研究，还用于图像中目标之间的上下文关系和目标的精确定位。【下载链接】

2.LSUN Classification: LSUN 是一个场景理解图像数据集，主要包含了卧室、固房、客厅、教室等场景图像。【下载链接】

3.STL10: CIFAR 数据集提供的图片很小，因此如果你想使用更高分辨率的图片，STL-10 数据集可能更吸引你。这个数据集包含 10 个类的标记图片，与 CIFAR-10 数据集相似，但是图像大小有 96×96 像素。每个类含有较少的标记样例，但却有很大的未标记图像集，可以用作非监督训练。【下载链接】

4.SVHN:google，street里面的门牌号，和mnist一样是对数字进行分类的【下载链接】