资源整理向--1.数据集整理

引用https://blog.csdn.net/luochao5862426/article/details/79564311

竞赛数据集

• kaggle https://www.kaggle.com/
  国际化的平台，最近登录不上去，登录时要求输入的验证码出不来。
• 天池 https://tianchi.aliyun.com/home/
  阿里云创建的大数据平台，同样有多个比赛可以参加
• github https://github.com/
  这个不用解释，开源代码平台
• CSDN 需要付费下载，用不起

公开数据集

• 1.data.gov https://www.data.gov/
  这是美国政府公开数据的所在地，该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。
• 2.data.gov.in https://data.gov.in/
  这是印度政府公开数据的所在地，通过各种行业、气候、医疗保健等来寻找数据，你可以在这里找到一些灵感。根据你居住的国家的不同，你也可以从其他一些网站上浏览类似的网站。
• 3.WorldBank( http://data.worldbank.org/ )
  世界银行的开放数据。该平台提供 Open Data Catalog，世界发展指数，教育指数等几个工具。
• 4.RBI( https://rbi.org.in/Scripts/Statistics.aspx )
  印度储备银行提供的数据。这包括了货币市场操作、收支平衡、银行使用和一些产品的几个指标。
• 5.Five ThirtyEight Datasets ( https://github.com/fivethirtyeight/data )
  Five Thirty Eight，亦称作 538，专注与民意调查分析，政治，经济与体育的博客。该数据集为 Five ThirtyEight Datasets 使用的数据集。每个数据集包括数据，解释数据的字典和Five ThirtyEight 文章的链接。如果你想学习如何创建数据故事，没有比这个更好。
• 6.Amazon WebServices（AWS）datasets
  ( https://aws.amazon.com/cn/datasets/ )
  Amazon提供了一些大数据集，可以在他们的平台上使用，也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集，Google Booksn-gram，NASA NEX 数据集，百万歌曲数据集等。
• 7.Googledatasets
  ( https://cloud.google.com/bigquery/public-data/ )
  Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据，Hacker News 的所有故事和评论。
• 8.Youtubelabeled Video Dataset
  ( https://research.google.com/youtube8m/ )
  几个月前，谷歌研究小组发布了YouTube上的“数据集”，它由800万个YouTube视频id和4800个视觉实体的相关标签组成。它来自数十亿帧的预先计算的，最先进的视觉特征。

预测建模与机器学习数据集

• UCI MachineLearning Repository
  ( https://archive.ics.uci.edu/ml/datasets.html )
  UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集，通常是首选的地方。这些数据集包括了各种各样的数据集，从像Iris和泰坦尼克这样的流行数据集到最近的贡献，比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。
• AnalyticsVidhya
  (https://datahack.analyticsvidhya.com/contest/all/ )
  您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题，并且相对较小，因为它们意味着2 - 7天的黑客马拉松。
• Quandl
  ( https://www.quandl.com/ )
  Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费，但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如，来自印度的证券交易所数据是免费的。
• Past KDDCups
  ( http://www.kdd.org/kdd-cup )
  KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。
• DrivenData
  ( https://www.drivendata.org/ )
  Driven Data 发现运用数据科学带来积极社会影响的现实问题。然后，他们为数据科学家组织在线模拟竞赛，从而开发出最好的模型来解决这些问题。

图像分类数据集

• 1.The MNISTDatabase
  ( http://yann.lecun.com/exdb/mnist/ )
  最流行的图像识别数据集，使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。
• 2.Chars74K
  (http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/ )
  这里是下一阶段的进化，如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像，因此数据集的名称。
• 3.Frontal FaceImages
  (http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html )
  如果你已经完成了前两个项目，并且能够识别数字和字符，这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的，排列在四个文件夹中。
• 4.ImageNet
  ( http://image-net.org/ )
  现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前，该集合平均每个节点有超过500个图像(而且还在增加)。

文本分类数据集

• 1.Spam – NonSpam
  (http://www.esp.uem.es/jmgomez/smsspamcorpus/)
  区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。
• 2.TwitterSentiment Analysis
  (http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/)
  该数据集包含 1578627 个分类推文，每行被标记为1的积极情绪，0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。
• 3.Movie ReviewData
  (http://www.cs.cornell.edu/People/pabo/movie-review-data/)
  这个网站提供了一系列的电影评论文件，这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如，“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。

推荐引擎数据集

• 1.MovieLens
  ( https://grouplens.org/ )
  MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐，推荐界面，基于标签的推荐页面等在线实验。这些数据集可供下载，可用于创建自己的推荐系统。

• 2.Jester
  (http://www.ieor.berkeley.edu/~goldberg/jester-data/)
  在线笑话推荐系统。

各种来源的数据集网站

• 1.KDNuggets
  (http://www.kdnuggets.com/datasets/index.html)
  KDNuggets 的数据集页面一直是人们搜索数据集的参考。列表全面，但是某些来源不再提供数据集。因此，需要谨慎选择数据集和来源。

• 2.Awesome PublicDatasets
  (https://github.com/caesar0301/awesome-public-datasets)
  一个GitHub存储库，它包含一个由域分类的完整的数据集列表。数据集被整齐地分类在不同的领域，这是非常有用的。但是，对于存储库本身的数据集没有描述，这可能使它非常有用。

• 3.RedditDatasets Subreddit
  (https://www.reddit.com/r/datasets/)
  由于这是一个社区驱动的论坛，它可能会遇到一些麻烦(与之前的两个来源相比)。但是，您可以通过流行/投票来对数据集进行排序，以查看最流行的数据集。另外，它还有一些有趣的数据集和讨论。

虚假信息数据集

• 1.FakeNewsNet
  下载链接：https://github.com/KaiDMML/FakeNewsNet
  说明：该数据集包含新闻内容和正确标注真假新闻标签的社会语境特征。
  使用论文：
  （1）A Stylometric Inquiry into Hyperpartisan and Fake News
  （2）Exploiting Tri-Relationship for Fake News Detection
• 2.BuzzFeedNews
  链接：https://github.com/BuzzFeedNews/2016-10-facebookfact-check/tree/master/data
  说明：该数据集包括完整的Facebook新闻发布于接近2016年美国大选从9月19日到23日以及9月26日和27日。
• 3.LIAR
  链接：http://www.cs.ucsb.edu/~william/software.html
  说明：该数据集是从PolitiFact收集，包括简短陈述，例如新闻稿，电视
  或电台采访，竞选演讲等，并包含元数据。
  使用论文：
  （1）“Liar,LIar Pants on Fire”:A New Benchmark Dataset for Fake News Detection
  （2）Multi-Source Multi-Class Fake News Detection
• 4.BS Detector
  链接：https://github.com/bs-detector/bs-detector
  说明：为新闻浏览器导出的数据集，包含新闻内容和正确标注真假新闻标签。
• 5.CREDBANK
  链接：http://compsocial.github.io/CREDBANK-data/
  说明：推特的大数据集，包含新闻内容和人工标注标签。
  数据集涉及的内容如下：
• 6.Twitter and Weibo DataSet
  链接：https://github.com/majingCUHK/Rumor_RvNN
  http://alt.qcri.org/?wgao/data/rumdect.zip
  说明：5000条言论带着500w的转发量
  使用论文：
  （1）CSI: A Hybrid Deep Model for Fake News Detection
  （2）Detecting rumors from microblogs with recurrent neural network
  （3）Early Detection of Fake News on Social Media Through Propagation Path Classification with Recurrent and Convolutional Networks
• 7.Twitter15 Twitter16
  链接：https://www.dropbox.com/s/7ewzdrbelpmrnxu/rumdetect2017.zip?dl=0
  说明：谣言数据
  使用论文：
  Detect Rumors in Microblog Posts Using Propagation Structure via Kernel Learning
• 8.推特语料
  链接：http://www.cs.jhu.edu/svitlana/
  说明：具体时间事件所搜集的数据集
  使用论文：
  Separating Facts from Fiction Linguistic Models to Classify Suspicious and Trusted News Posts on Twitter
• 9.包含图的假新闻数据集
  链接：https://drive.google.com/open?id=0B3e3qZpPtccsMFo5bk9Ib3VCc2c
  说明：文本+图像
  使用论文
  TI-CNN: Convolutional Neural Networks for Fake News Detection
• 10.谣言数据集
  链接：http://mia.kaist.ac.kr/publications/rumor.
  说明：数据集包含三个维度：时间，结构和语言
  使用论文：
  Prominent features of rumor propagation in online social media