欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定!
对商业智能BI、大数据分析挖掘、机器学习,python,R等数据领域感兴趣的同学加微信:tstoutiao,邀请你进入数据爱好者交流群,数据爱好者们都在这儿。
作者:爱德宝器 Python爱好者社区专栏作者
公众号:数据管道
摘要
"The world's most valuable resource is no longer oil,but data"
一种新的商品催生出一个利润丰厚、发展迅速的行业。这促使反垄断监管机构介入,从而约束那些能够控制这种商品流动的巨头。
一百年前,石油就是这样一种资源。现在,一些经营数据的巨头引发了类似担忧,这些数据将成为数字时代的石油。
目前处于数据驱动型经济中,如果无法分析当前或未来的趋势,任何组织都无法生存下去。抢夺数据已经成为决定下一步行动方案的关键。
作为数据科学领域的从业者来说,对于数据的需求更为强烈。
本次整理了一些NBA、社交网络、图像、语音、文本、时间序列、人文历史、金融等领域的免费和开源的数据集资源。(从正文带蓝色下划线链接自取)。
数据集
一、NBA球员数据集:
https://www.basketball-reference.com/players/l/linje01.html
http://china.nba.com/statistics
http://www.stat-nba.com
二、图像、文本、语言数据集
图像
1、由79302017幅图像组成的数据集,每幅图像为32x32像素彩色图像。
http://horatio.cs.nyu.edu/mit/tiny/data/index.html
2、人脸识别数据集。
http://www.face-rec.org/databases/
3、一个可搜索的图像数据库。
http://www.image-net.org/index
语音:
1、CMU语音识别数据库。
http://www.speech.cs.cmu.edu/databases/
2、对音乐分析的数据集。
http://users.cis.fiu.edu/~lli003/Music/music.html
3、100万首歌曲的数据集
https://labrosa.ee.columbia.edu/millionsong/
文本:
1、用于构建机器学习推荐系统的1.5 TB数据集
https://webscope.sandbox.yahoo.com/catalog.php?datatype=r&did=75&guccounter=1
三、金融和商业数据集:
1、ebay拍卖招标数据集。
http://www.modelingonlineauctions.com/datasets
2、纽约市警察局的交通事故数据(csv格式)。
http://nypd.openscrape.com/#/
3、从aiHit数据库中随机抽取的10,000家英国公司的信息
https://www.aihitdata.com/redirect/cons/datasets.html
4、美国股票新闻数据
http://dataju.cn/Dataju/web/datasetInstanceDetail/220
5、美国金融客户投诉数据
http://dataju.cn/Dataju/web/datasetInstanceDetail/229
6、Airbnb 开放的民宿信息和住客评论数据http://dataju.cn/Dataju/web/datasetInstanceDetail/360
四、政府出台的相关数据
1、健康、环境、能源等数据。
http://data.un.org/
2、经济时间系列,由美国政府机构制作,以多种形式和媒体发行
http://inforumweb.umd.edu/econdata/econdata.html
3、USGovXML是一个由美国政府提供的公开可用web服务和XML数据源的索引
http://usgovxml.com/
五、技术、社交网络、人文历史等数据集
1、80 Tb的存档web爬虫数据。
http://blog.archive.org/2012/10/26/80-terabytes-of-archived-web-crawl-data-available-for-research/
2、一个包含许多“开放”社交网络分析数据集的可访问库的站点。
http://ww31.growmeme.com/overview
3、斯坦福大型网络数据集收集。
http://snap.stanford.edu/data/index.html
4、一个包含谷歌图书公司的数据集。
https://aws.amazon.com/cn/datasets/google-books-ngrams/
5、基因遗传数据集。
http://portals.broadinstitute.org/cgi-bin/cancer/datasets.cgi
6、地球撞击陨石数据。
https://www.analyticbridge.datasciencecentral.com/profiles/blogs/registered-meteorites-that-has-impacted-on-earth-visualized
机器学习数据集常用搜索网站
1、Kaggle
https://www.kaggle.com/competitions
2、加州大学欧文分校机器学习库。
http://archive.ics.uci.edu/ml/index.php
3、Google数据集搜索。
https://toolbox.google.com/datasetsearch
4、Datahub,分享高质量数据集平台
https://datahub.io/
5、用于上传和查找数据集的机器学习数据集存储库。
https://www.webdoctx.com/www.mldata.org
本文参考:
《经济学人》报道。
https://datahub.io/。
Google数据集搜索。
Github数据集相关贡献。
http://mt.sohu.com/20180209/n530607148.shtml。
Python的爱好者社区历史文章大合集:
2018年Python爱好者社区历史文章合集(作者篇)
2018年Python爱好者社区历史文章合集(类型篇)
关注后在公众号内回复“ 课程 ”即可获取:
小编的转行入职数据科学(数据分析挖掘/机器学习方向)【最新免费】
小编的Python的入门免费视频课程!
小编的Python的快速上手matplotlib可视化库!
崔老师爬虫实战案例免费学习视频。
陈老师数据分析报告扩展制作免费学习视频。
玩转大数据分析!Spark2.X + Python精华实战课程免费学习视频。