nutch1.2 fetcher类解析
建索引这段，一直在fetcher这里消耗的时间最多，webhavest抓数据nutch解析数据建索引500条不重复数据大概需要40-50分钟，光fetch就耗了30分钟左右，所以提高建索引速度，fetch优化是必须的，在优化前，先得知己知彼
fetcher的类结构
内部类
inputFromat 没研究是干什么的
Fetchitem
FetchItemQueues
QueueFeeder
FetcherThread //多线程解析crawldb中的数据
FetchItemQueue
主要的方法
run(String[]) //本类中的mian方法调用的就是它 该方法调用的是fetch(segment, threads, parsing)
segment=crawldb的位置 threads=读取
配置文件中的fetcher.threads.fetch的值 parsing=?
fetch(segment, threads, parsing) //在这调用mapreduce结构算法 逻辑方法调用的是本类中的
run(RecordReader<Text, CrawlDatum> input,
OutputCollector<Text, NutchWritable> output, Reporter reporter)
run(RecordReader<Text, CrawlDatum> input,
OutputCollector<Text, NutchWritable> output, Reporter reporter)
// 首先new QueueFeeder() 然后调用run方法
这个类中消耗的时间并不多，所以没有深入
// 然后根据配置文件的fetcher.threads.fetch的值
创建多个FetcherThread对象 然后调用其run()
FetcherThread类的run() //这里是重点消耗时间的地方了。
run()方法大概结构
while(true){
FetchItem fit = fetchQueues.getFetchItem(); //这里在fit==null有个判断 是跳出本次循环还是跳出所有循环
do{
Protocol protocol = this.protocolFactory.getProtocol(fit.url.toString());
//通过传入的crawldb中的url 通过接口调用nutch的插件来下载不同格式的数据
ProtocolOutput output = protocol.getProtocolOutput(fit.url, fit.datum);
//然后根据不同格式的数据 调用相应插件来解析
//在ProtocolOutput对象中会有个URL返回值 如200,400,500 通过这些值判定进入哪个case分支
//因为我的数据中，已经通过webharvest脚本抓取并过滤掉了无用数据，所以在前面通过url下载数据解析数据那部分被我去掉了，用自己构造的//ProtocolOutput代替了 所以在case这部分只会进入200也就是ProtocolStatus.SUCCESS分支
}while()
}