爬取各大新闻网站所有新闻

如何通过爬虫爬取各大新闻网站过去一段时间内的所有新闻?
想利用word2vec训练一个同义词模型,准备采用新闻数据做为语料库。
但在爬取新闻的过程中发现,现在主流的新闻网站基本都是采用滚动式的新闻加载方式,也就是你鼠标滚轮一直向下拉就会不停的加载新的新闻出来。通过这种方式找到的数据接口(例如网易的 http://3g.163.com/touch/jsonp/sy/recommend/10-10.html),只能爬到最近的1000篇新闻
对应于鼠标滚轮滚到后最后就不会再加载新的新闻出来了,量太少了。

你可能感兴趣的:(爬取各大新闻网站所有新闻)