最全图像识别数据集网站和工具

 

如果你遇到以下问题，很适合阅读本篇文章

1. 数据集太小太零散，找不到合适数据？
2. 数据集不知道从哪里获得，很容易得到的都是外国的
3. 数据集不均匀训练的模型不准确、不收敛、很偏见
4. 在犹豫优化模型还是继续找数据集
5. 是否花钱购买数据
6. 还在发愁找不到数据集训练你的模型？

 

如果用一个句子总结学习数据科学的本质，那就是： 学习数据科学的最佳方法就是应用数据科学。 如果你是一个初学者，你每完成一个新项目后自身能力都会有极大的提高，如果你是一个有经验的数据科学专家，你已经知道这里所蕴含的价值。

首先，在选择数据集时要记住几个重要标准：

•      数据集不能过于混乱，过于混乱的数据会导致模型难以收敛，加大了训练难度。
•      与训练目标相一致的数据集才能更高效的完成识别任务
•      数据集量级是否符合模型规模，复杂的深度网络需要更多的数据才能发挥能力。

 

数据至关重要

       数据质量决定着模型的准确率，技巧模型比重很小。好的数据是成功的90%，数据采集，数据标注，数据清洗，数据预处理，有着至关重要的作用。如果你是学生，下面文章提供几个下载数据集的网站及标注工具，方便快速跑起来你的代码。把精力都用在模型学习和优化上而非枯燥的数据处理。如果你是从业者，更多的数据才是制胜的法宝，可以采用下面列出的工具例如Aidiscovery快速收集尽可能多的数据。利用Labelme图像分割标注

 

数据集划分

      训练集、验证集、测试集，这三个集合不能有交集，常见的比例是8:1:1。

 

 

 

数据准备之数据采集标注软件

【Labelme】 图像分割标注推荐

简单介绍：LabelMe的目标是提供一个在线注释工具，以建立用于计算机视觉研究的图像数据库。如果未完全标记图像，则用户可以使用鼠标在图像中绘制一个包含对象的多边形。LabelMe项目提供了一组工具，用于使用Matlab中的LabelMe数据集。

功能：

• 对图像进行多边形，矩形，圆形，多段线，线段，点形式的标注（可用于目标检测，图像分割，等任务）。
• 对图像进行进行 flag 形式的标注（可用于图像分类 和 清理 任务）。
• 视频标注
• 生成 VOC 格式的数据集（for semantic / instance segmentation）
• 生成 COCO 格式的数据集（for instance segmentation）

地址：http://labelme.csail.mit.edu/Release3.0/browserTools/php/dataset.php

点击下载

 

【Aidiscovery】数据采集自动分类推荐

简单介绍：无需登陆注册，即可免费下载。人脸数据自动收集，界面友好、操作简单、其中包含的数据采集是其他软件不具备的，包括数据增强自动分类，解决标注头疼问题。除此之外，对数据集的采集来源、数据采集量、数据分布等进行统计分析，以可视化图表的形式展现，辅助评判数据集可用性。

功能：

• 数据采集，从视频和屏幕采集数据，实时标注
• 数据增强，提供数据增强详细的参数选择及预览，有单一数据增强和组合数据增强
• 数据处理，对于采集结果进行自动处理，再对不正确的手动处理
• 统计分析，对于采集资源的优劣进行统计

地址：http://aidiscovery.wntime.com/

点击下载

 

 

 

常用数据集下载网站

一、【Kaggle】 地址：https://www.kaggle.com/datasets

kaggle

 

介绍：一个竞赛网站，上面有很多有价值的数据集和题目。每个比赛都是独立的。无需确定自己的项目范围并收集数据，可以腾出时间专注于其他技能。实践就是实践。

 

 

 

二、【ImageNet】 地址：http://image-net.org/

image net

 

介绍：ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象;在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别

 

 

 

四、【MS COCO】 地址 ：https://cocodataset.org/#download

 

 介绍 ：COCO是大规模的对象检测，分割和字幕数据集。COCO具有以下功能：对象分割、上下文识别、超像素东西分割、330K图像（已标记> 200K）、150万个对象实例、80个对象类别、91个东西类别、每个图像5个字幕、有关键点的250,000人

 

 

 

 

 

五、【COIL100】 地址：http://www1.cs.columbia.edu/CAVE/software/softlib/coil-100.php

 

 

介绍：100 个不同的物体在 360°旋转中以每个角度成像

 

 

 

 

 

六、【Visual Genome】地址：http://visualgenome.org/ 

 

介绍：非常详细的视觉知识库，配有约 100K 个图像的注释。

 

 

 

 

七、【Labelled Faces in the Wild】地址：http://vis-www.cs.umass.edu/lfw/

 

 

介绍：13000 张贴有标签的人脸图像，用于作为人脸识别测试集。

 

 

 

 

八、【Stanford Dogs Dataset】地址：http://vision.stanford.edu/aditya86/ImageNetDogs/

 

 

介绍：包含 20580 个图像和 120 个不同品种的狗类别。注释:类别标签，边界框

 

 

 

九、【Indoor Scene Recognition】地址：http://web.mit.edu/torralba/www/indoor.html

 

介绍：该数据库包含67个室内类别，共15620张图像。图像的数量因类别而异，但每个类别至少有100张图像。所有图像均为jpg格式。此处提供的图像仅用于研究目的。

 

 

 

 

十、【vggface】地址：http://www.shujujishi.com/dataset/f66a2818-dd92-4c6e-bb83-a32f59f86170.html

 

介绍：VGG-Face中的身份分布数据集可能无法代表全球人口。在训练或部署根据此数据训练的模型时，根据场景使用，避免学习结果有偏见

VGGFace2数据集	具有9131个身份的新的大规模面部数据集。
VoxCeleb	1251个VGG Face身份的YouTube视频的URL和时间戳。

 

 

 

 

 

十一、【MS-Celeb-1M】地址：http://academictorrents.com/details/9e67eb7cc23c9417f39778a8e06cca5e26196a97

介绍：用于识别人脸图像的相关数据集，一百万名人。知识库提供的丰富信息有助于进行消歧和提高识别精度，并有助于各种现实应用，如图像字幕和新闻视频分析。是世界上最大的公开数据集，在版本1中包含1000万幅图像。

 

 

 

十二、【PubFig: Public Figures Face Database】地址：https://www.cs.columbia.edu/CAVE/databases/pubfig/

介绍：PubFig数据库是一个大型的真实人脸数据集，58797张图像200人。与大多数其他现有的人脸数据集不同，这些图像是在完全不受控制的情况下拍摄的，对象不合作。因此，在姿势、照明、表情、场景、相机、成像条件和参数等方面有很大的变化。

 

 

 

 

十三、【megaface】地址：http://megaface.cs.washington.edu/dataset/download_training.html

介绍：megaface训练数据集是最大的(在身份数量上)可公开获得的面部识别数据集，具有470万张脸、672个身份和它们各自的边界框。

 

十四、【Yale Face Database 】http://vision.ucsd.edu/~leekc/ExtYaleDatabase/ExtYaleB.html

介绍：耶鲁人脸数据库包含28个人在9种姿势和64种光照条件下的16128幅图像

 

其他

• Datahub – a community-managed home for open data sets
• Data.gov – the U.S. Government's open data
• data.world
• GCMD – the Global Change Master Directory containing over 20,000 descriptions of Earth science and environmental science data sets and services
• Humanitarian Data Exchange(HDX) – The Humanitarian Data Exchange (HDX) is an open humanitarian data sharing platform managed by the United Nations Office for the Coordination of Humanitarian Affairs.
• NYC Open Data – free public data published by New York City agencies and other partners.
• Relational data set repository
• Research Pipeline – a wiki/website with links to data sets on many different topics
• StatLib–JASA Data Archive
• UCI – a machine learning repository
• UK Government Public Data
• World Bank Open Data – Free and open access to global development data by World Bank