nutch1.3数据流程图
流程入口org.apache.nutch.crawl crawl.java Crawl::run 里面的很多类中都使用了mapreduce框架进行数据处理
ulrs:存放在hdfs中的待爬取的urls种子列表
Injector:使用mapreduce任务将urls列表放入CrawlDb数据库中（MapFile），期间会使用配置文件配置的插件进行url的归一化和过滤操作.
crawldb:生成的url及元数据的map库
Generator:从crawldb中逐步获取一部分url放入fetchlist中，并以sements的形式存放，期间会根据时间戳更新crawldb中的url状态（CrawlDbUpdate），以避免重复抓取，并且会给每个url打个分，低于配置的阈值的丢弃
segements/time/crawl_generate:生成的符合条件的待抓取ulrs和元数据
Fetcher/ParseSegment: fetcher使用一个生产者，多个消费者的模式，中间使用队列，生产者(QueueFeeder)往队列里面塞待抓取的url数据，多个消费者(FeatcherThread)从队列中取数据给fetcher去抓取url对应的网页数据，期间会根据robot协议和protocal进行重试，重定向等操作，根据是否解析和存储网页数据，进行ParseSegment操作和存储操作
crawl_fetch,crawl_parse,parse_text,parse_data,content:抓取到的url对应的网页数据，以不同的形式存放。
LinkDb:invert:根据url之间的链接，生成反向链接表linkdb
linkdb:生成的反向链接表
CrawlDb::update:从featcher的输出,其中有新的url,更新crawldb
SolrIndexer::indexSolr:调用solr的建索引接口，使用生成的linkdb,crawldb,segments数据以及solr中的字段配置solr/example/solr/conf/schema.xml信息建索引
index:生成的索引
SolrDeleteDuplicates::dedup:去重，同一digest的doc，保持boost最高的，boost最高的有多条，保留时间戳最新的
dedupped index:去重后的index