heritrix自定义爬虫

    heritrix1.14.4 升级到3.1 ,发现改变还是很大的,原来的核心类org.archive.crawler.postprocessor.FrontierScheduler不存在了,

org.archive.crawler.extractor.Extractor改变很大,增加了shouldProcess的方法,

org.archive.modules.extractor.Link类也由原来的静态成员变量改为了实例化类!!

   目前暂时还不知道自定义爬虫,3.1该如何实现,现在发现比较麻烦,迁移过去的代码也出现了很多问题!

看来只有明天去找一些洋文资料来看看了!!

 

   从官方手册上看,3.1的版本可以实现动态的seed加载,是否是利用这个特性,替换掉了org.archive.crawler.postprocessor.FrontierScheduler,有可能是这样!

   会持续跟进!!!!

你可能感兴趣的:(heritrix3.1)