JAVA开源爬虫,WebCollector,简单易用,有界面。

如果你想用爬虫下载整站内容,又不想配置heritrix之类的复杂爬虫,可以选择WebCollector。项目在github上持续更新。

github源码地址:https://github.com/CrawlScript/WebCollector

github下载地址:http://crawlscript.github.io/WebCollector/

运行方式:

1.解压从http://crawlscript.github.io/WebCollector/ 页面下载的压缩包。

2.解压后找到webcollector-版本号-bin.zip,解压。

3.如果是windows,双击里面的start.bat,如果是linux,用命令行进入文件夹,执行sh start.sh


你可能感兴趣的:(开源,爬虫,webcollector,整站下载,可扩展)