搜狐新闻数据400w+

  在之前的闲聊对话语料中提到,爬取了400w+新闻语料训练word2vec,考虑到这个平台数据质量比较高, 但是爬取的时候又有频率限制、网页打开慢、甚至有时候需要多次访问才能打开网页,经过几个月断断续续地爬取,在此把这部分数据公布给大家学习使用。这部分数据不仅可用来训练word2vec,还能进行做简单的新闻分类任务(可以通过url确定新闻的类别)。

数据特点

  1. 时间跨度:2009-10-19至2016-10-31,2534天的新闻
  2. 同一天的数据保存在以日期“20xxxxxx”格式命名的文件中,一则新闻一行
  3. 非节假日,一天有1400+篇新闻
  4. 爬取的新闻已进行抽取正文,每则新闻包含的字段有url、title、content(部分新闻可能没有content)
  5. 已通过url进行去重
  6. 数据量400w+,大小12G+

正文样例

下载链接:链接: https://pan.baidu.com/s/1qsKVEFnEpwbRRcs-NISkjA 密码: hwrh

你可能感兴趣的:(搜狐新闻数据400w+)