Heritrix源码分析(二) 配置文件order.xml介绍

阅读更多

     本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.iteye.com/blog/613412

     欢迎加入Heritrix群(QQ)：109148319

 

 

      order.xml是整个Heritrix的核心,里面的每个一个配置都关系到Heritrix的运行情况,没读源码之前我只能从有限的渠道去获知这些配置的运用.读完之后才知道Heritrix竟然有如此灵活的运用,如可以控制抓取速度,可以优化电脑性能,可以在某一次的抓取上继续抓取.当然整个order.xml里我也没有全部掌握,只知道大部分配置的作用,希望大家指点改正以及补充,谢谢！

 

1.       代表着该抓取JOB的元素,相当于Html的meta

 
    myheritrix                    
    my heritrix  
    Admin                 
                   
                              
    20090520051654             

 

2. 跟抓取有关的所有参数,由于内容较多,并且Heritrix也已将他们分成不同模块，所以这里我也将他们拆分来说明.

 

 

 
    settings 
    
    logs
    checkpoints
    state 
    scratch  
    0   
    0  
    0 
    30  
    4096 
    65536 
    0 
 


  

  







 
 
 

3.接下来拆分每个组件的配置文件一一进行说明，最后对Heritrix主要的配置也就是我们可以影响抓取的配置进行说明。

   3.1：抓取范围

  

      false 
      seeds.txt 
      true 
       
        
      
    

 

    3.2： HTTP协议

   

 

    3.3：爬虫协议

    

      classic         
      false   
        
       
      
    

 

   3.4：Frontier 调度器

  

      4.0
      20000
      2000
      300
      30
      900
      1
      0
      0
      org.archive.crawler.frontier.HostnameQueueAssignmentPolicy
      
      false
      false
      false
      true
      true
      3000
      100
      -1
      org.archive.crawler.frontier.ZeroCostAssignmentPolicy
      300000
      50
      org.archive.crawler.util.BdbUriUniqFilter
      false
    

 

   3.5：URL规范化规则，主要用来规范化每个URL，用Heritrix默认的就好了，这里不做说明了，其实也是通过各种规则

   3.6：预先处理链组件:

 

   3.7：获取组件:

 

   3.8：抽取组件

 

   3.9：写组件

 

   3.10：请求链组件

 

   3.11：统计跟踪链组件

  

更多技术文章、感悟、分享、勾搭，请用微信扫描: