Java主题爬虫Gecco发布1.0.4版本

https://github.com/xtuhcy/gecco

主要特征

1、简单易用,使用jquery的css selector风格抽取元素
2、支持页面中的异步ajax请求
3、支持页面中的javascript变量抽取
4、利用Redis实现分布式抓取
5、支持下载时UserAgent随机选取
6、支持下载代理服务器随机选取
7、支持结合Spring开发业务逻辑

你可能感兴趣的:(爬虫,crawler,gecco)