基于WebCollector 2.x的增量更新机制,制作新闻采集APP

WebCollector 2.x的增量更新机制,适合采集门户网站的更新新闻信息。

基于WebCollector 2.x 我们制作了Android APP程序员杂志。应用采用HTML5构建,应用只有33k,应用使用了webkit的缓存机制,非常节省流量。

下载地址:百度应用下载地址

WebCollector 2.x去除了1.x版本中依赖时间的增量更新,而是增添了API Crawler.addForcedSeed(String)。

通过addForceSeed(String)添加的种子在断点爬取中会被重复爬取,如果对门户网站进行爬取,各个模块的首页一般都通过addForceSeed的方式加入。爬虫检测到这些页面上有新的链接,就可以即时爬取。




你可能感兴趣的:(网络爬虫,新闻采集,新闻App,程序员杂志,新闻爬虫)