GuozhongCrawler

GuozhongCrawler看准网爬虫动态切换IP漫爬虫

主要这里提供思路项目地址:http://git.oschina.net/woshidaniu/GuozhongCrawler/tree/master/example/changeProxyIp/首先爬虫入口类
weixin_34216036·2020-07-15 05:55

GuozhongCrawler看准网爬虫动态切换IP漫爬虫

主要这里提供思路项目地址：http://git.oschina.net/woshidaniu/GuozhongCrawler/tree/master/example/changeProxyIp/首先爬虫入口类
郭钟·2015-07-02 12:00

GuozhongCrawler系列教程 （1） 三大PageDownloader

   GuozhongCrawler QQ群202568714     GuozhongCrawler内置三大PageDownloader。
郭钟·2015-06-14 13:00

GuozhongCrawler系列教程 （5） TransactionRequest详解

     为了实现和维护并发抓取的属性信息提供线程安全的事务请求。TransactionRequest是一个抽象类自己不能设置Processor，却需要实现TransactionCallBack接口。TransactionRequest是个复合的BasicRequest。他可以将多个PageRequest、BinaryRequest甚至TransactionRequest自己的对象添加到child
郭钟·2015-06-09 11:00

GuozhongCrawler系列教程 （4） StartContext详解

 StartContext是注入时所有seed的上下文信息如果爬虫在抓取过程当中需要共享一些变量。那么可使用StartContext作为容器。构造器详细资料StartContextpublic StartContext()构造一个StartContext。通常用来充当seedRequest的容器StartContextpublic StartContext(java.lang.String url
郭钟·2015-06-08 19:00

GuozhongCrawler系列教程 （3） PageProcessor详解

      PageProcessor是所有PageRequest请求完成后处理的接口。例如：startContext.createPageRequest("http://my.oschina.net/u/1377701/blog/425984",OschinaProcessor.class)即可指定处理页面结果此时重写OschinaProcessor.process方法即可完成解析工作方法详细资
郭钟·2015-06-08 18:00

GuozhongCrawler系列教程 （2） CrawTaskBuilder详解

    GuozhongCrawler是分层架构。要快速学习CrawlTask独立的配置多少要了解框架的源代码。
郭钟·2015-06-08 17:00

GuozhongCrawler git地址

github:https://github.com/CreditTone/GuozhongCrawleroschina:http://www.oschina.net/p/guozhongcrawler
郭钟·2015-06-07 16:00

GuozhongCrawler实现一个完整爬虫

    经过上一节开发环境搭建中的百度新闻的爬虫例子，相信大家已经对GuozhongCrawler简洁的API产生浓厚兴趣了。不过这个还不算一个入门例子。只是完成了简单的下载和解析。
郭钟·2015-04-18 10:00

GuozhongCrawler开发环境搭建

搭建GuozhongCrawler开发环境有两种方式。
郭钟·2015-04-14 13:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他