[转]nutch1.2断电或者断网后继续爬取的方式

最近用nutch抓取了几个g的数据,爬了两天了。中途要断电,网上找到别人的断点继续爬取的方式,解决了问题。

 

nutch抓取过程是分阶段的,每个阶段完成后都会写到文件中。

附nutch抓取的阶段: (injector) ->generator -> fetcher -> crawldb updater -> linkdb updater -> indexer ->deldup -> merger。

 

 

 

下面是从fetcher阶段之后,各个阶段的调用命令:
(假设crawl为抓取目录,crawl/segments存放每一轮抓取的结果,crawl/crawldb为crawldb的目录,crawl/linkdb存放所有的链接,crawl/segments/20091102091322是本轮generate产生的待抓取的网页)
fetch    usage:
        bin/nutch fetch crawl/segments/20091102091322

updatedb usage:
        bin/nutch updatedb crawl/crawldb crawl/segments/20091102091322 -filter

updatelinkdb usage:
        bin/nutch invertlinks crawl/linkdb crawl/segments/20091102091322

index usage:
        bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb crawl/segments/20091102091322

deldup usage:
        bin/nutch nearDedup crawl/indexes

merge usage:
        bin/nutch merge crawl/index_20091102091322 crawl/indexes

 

 

 

转自:http://www.hadoopor.com/thread-453-1-1.html

(求救!NUTCH中途爬行中断怎么继续未完成的任务!!!高人指点下)

 

 

 

补充:其实后来实践,并没有很好地解决问题。这种措施只能继续被中断的某个segment(比如本例子的20091102091322)的各个抓取步骤,紧接下来的别的segment并不能继续.大家可以实践并交流

你可能感兴趣的:(nutch检索)