Nutch下载后的文件目录说明

Nutch的文件目录所包含的内容:
  • crawldb目录下面存放下载的URL,以及下载的日期,用来页面更新检查时间。
  • linkdb目录存放URL的关联关系,是下载完成后分析时创建的,通过这个关联关系可以实现类似google的pagerank功能。
  • segments目录存储抓取的页面,下面子目录的个数与获取页面的层数有关系。     内含有6个子目录
        content:下载页面的内容
        crawl_fetch:下载URL的状态内容
         crawl_generate:待下载的URL的集合,在generate任务生成时和下载过程中持续分析出来
        crawl_parse:存放用来更新crawldb的外部链接库
        parse_data:存放每个URL解析出来的外部链接和元数据
        parse_text:存放每个解析过的URL的文本内容
  • index目录存放符合lucene格式的索引目录,是indexs里所有的索引内容合并后的完整内容,这里的索引文件的内容基本与lucene的索引文件一致,但多了.nrm文件,少了lucene的.f0文件,而且是非复合索引。
  • indexs目录存放每次下载的索引目录,存放part-0000到part-0003

你可能感兴趣的:(Nutch)