基于WebCollector保留页面数据顺序设计

需求：

起点中文网抓取分页抓取数据并保持原有顺序不变

分页数据url和分页url独立，无关联性

问题

webcollector中使用异步多线程执行抓取，不能将下载顺序作为原数据排序

网站不同，分页区别较大

分页条件下，数据顺序只是当前页20条，40条等

由于visit()方法只是根据url解析当前页的内容，如何将分页数据传入到详情页

分析

1、翻看AutoParseCrawler的源码提供如下方法

AutoParseCrawler(boolean)//构造方法getResponse(CrawlDatum)//获取响应execute(CrawlDatum, CrawlDatums)//执行url抓取afterParse(Page, CrawlDatums)//完成当前页的解析parseLink(Page, CrawlDatums)//根据正则解析当前页的UrladdRegex(String)isAutoParse()setAutoParse(boolean)getRegexRule()setRegexRule(RegexRule)getVisitor()setVisitor(Visitor)getRequester()setRequester(Requester)

感觉afterParse、parseLink这两个方法能会有用，详细代码如下：

/**

* 只提供空方法，继承可重写

**/protectedvoidafterParse(Page page, CrawlDatumsnext) {}/**

* 根据正则解析当前页的Url

**/protectedvoidparseLink(Page page, CrawlDatumsnext) {String conteType = page.getResponse().getContentType();if((conteType !=null) && (conteType.contains("text/html"))) {Document doc = page.getDoc();if(doc !=null) {Links links =newLinks().addByRegex(doc,this.regexRule);next.add(links);}}}

假设当前页是分页Url:

http://a.qidian.com/?size=-1&sign=-1&tag=-1&chanId=-1&subCateId=-1&orderId=&update=-1&page=1&month=-1&style=1&action=-1&vip=-1

那么parseLink分析匹配的数据为详情url

http://book.qidian.com/info/(\d+)

也就是说，在下次进入visit()方法时是无法获取详情detailUrl在pageUrl中的排序的，因此思路是如何从pageUrl中将detailUrl的排序信息传入detailUrl中，查看源码发现CrawlDatum有个meta方法

//设置元数据publicCrawlDatum meta(Stringkey,Stringvalue) {this.metaData.put(key, value);returnthis;}//已废弃@DeprecatedpublicCrawlDatum putMetaData(Stringkey,Stringvalue) {returnmeta(key, value);}

设计

数据结构：

网站ID＋分页数（n位不足前补零）＋当前页index（m位不足前补零）

样例：100000001001 （起点中文网第一页第一条）

pageIndex及contentIndex的确定及传入

实现

排序值生成

StringorderNum =String.format("%s%s%s", ipSpiderConfig.getOrderNumPrefix(),SequenceUtil.formatNumber(ORDER_PAGE_N, Integer.valueOf(page.meta("pageIndex"))),SequenceUtil.formatNumber(ORDER_INDEX_N, Integer.valueOf(page.meta(page.getUrl()))));

SequenceUtil

publicclassSequenceUtil{/** * 生成n位数字串不足补0 *@authorwangxb147 *@date2017年5月15日 *@paramn 数字 *@paramnum 位数 *@return*/publicstaticStringformatNumber(intn,intnum){ String format ="%0"+n+"d";returnString.format(format, num);  }}

pageIndex及contentIndex的确定及传入

@Overrideprotected void parseLink(Page page, CrawlDatums next) {StringconteType = page.getResponse().getContentType();if(conteType != null && conteType.contains("text/html")) {Document doc = page.getDoc();if(doc != null) {Links links = new Links().addByRegex(doc,regexRule);next.add(links);// 通过元数据记录indexfor (int i =0; i < links.size(); i++) {Stringlink = links.get(i);if(link.matches(ipSpiderConfig.getContentUrlRegex())) {next.meta(link, i +"");}}}}HashMapmetaData = page.getMetaData();Set>entrySet = metaData.entrySet();Iterator>iter= entrySet.iterator();while(iter.hasNext()){Map.Entryentry= (Map.Entry)iter.next();Stringkey = (String)entry.getKey();Stringvalue = (String)entry.getValue();next.meta(key, value);}}

总结

对源码分析会是一种获取解决问题思路的好来源

无效的百度和google是在浪费生命