webhavest+nutch1.2抓数据，建索引流程
crawldb目录下面存放下载的URL,以及下载的日期，用来页面更新检查时间
linkdb目录存放URL的关联关系，是下载完成后分析时创建的
segments目录存储抓取的页面，下面子目录的个数与获取页面的层数有关系
里面有6个子目录
content,下载页面的内容
crawl_fetch,下载URL的状态内容
crawl_generate,待下载的URL的集合，在generate任务生成时和下载过程中持续分析出来
crawl_parse,存放用来更新crawldb的外部链接库
parse_data,存放每个URL解析出来的外部链接和元数据
parse_text,存放每个解析过的URL的文本内容
crawl 使用webhavest 爬取数据
//伪代码
//循环crawl/au、crawl/hk、crawl/cn、crawl/hk、之类的地区文件
//列如crawl/hk
for(){
获得/crawl/hk/crawl/website.** 以website开头的文件个数，从中获得爬取URL及深度
加载hadoop文件系统中的配置文件nutch-default.xml之类的配置文件
删除上次建索引时创建的文件crawl/hk/crawleroutput
crawl/hk/linkcrawleroutput
crawl/hk/classifieroutput
crawl/hk/dbwriteroutput
加载本地工程目录中/crawl/hk/conf、
/crawl/hk/crawl、
/crawl/hk/frontpage、
/crawl/hk/linkpage 复制到本地tmp文件下
爬取frontpage
传入webhavest爬取解析数据的xml文件位置
产生crawl/hk/crawleroutput 内有根据URL及XML配置过滤出来的有效数据
爬取linkpage
传入crawl/hk/crawleroutput
产生crawl/hk/linkcrawleroutput 内有详细页面的有效数据
JobClassifier
传入linkcrawleroutput
把其中的数据通过/crawl/hk/conf中的XML解析成代号， 如location通过location.xml解析成地点编号
产生classifieroutput
****以上步骤中，将本地工程目录中的crawl/下的各个地区的配置文件复制到hadoop文件系统中，本地tmp文件中
****在每个地区文件目录下产生了 crawleroutput
linkcrawleroutput
classifieroutput
****进入sh命令步骤
//第二步
先删除joburlwriteroutput
传入(user/hadoop/crawl/hk/classifieroutput,/user/hadoop/joburlwriteroutput)
通过URLwrite类(就是把classfileroutput中的数据取出，再以键值对的形式保存到)
产生/user/hadoop/joburlwriteroutput
//第三步
传入(joburlwriteroutput,/user/hadoop/crawl.demo/crawldb)
通过Injector类把数据注入到/user/hadoop/crawl.demo/crawldb文件中
产生/user/hadoop/crawl.demo/crawldb
//第四步
传入(/user/hadoop/crawl.demo/crawldb,/user/hadoop/crawl.demo/segments)
通过Generator类(产生segments)
产生/user/hadoop/crawl.demo/segments
获取segments下最新的文件
通过Fetcher类
****在fetcher这步时很耗时间
//在把segments下最新的文件
//通过CrawlDb类(nutch会自动通过segments更新一些数据，因为数据已经通过webhavest拿到，所以不需要这步操作)
//第五步
传入(/MERGEDsegments,-dir,/segments)
通过SegmentMerger类 把segments目录下的多个 合并到 MERGEDsegments
产生MERGEDsegments
然后把segments目录下的文件删除
把产生的MERGEDsegments改名为segments
//第六步
传入(/linkdb,crawl.demo/segment/*)
通过LinkDb类
产生linkdb
//第七步
先把/NEWindexes删除掉
传入(/NEWindexes,/crawldb,/linkdb,/segment/*)
通过Indexer类
产生NEWindexes
//第八步
传入(/NEWindexes)
通过DeleteDuplicates类
//估计应该是nutch自带的去重复
//第九步
传入(/index,/NEWindexes)
通过IndexMerger
产生/index
删除老的index
把新的NEWindexes重命名index
****这里有点情况
因为之前把SH命令改为JAVA代码的时候，产生索引的位置NEWindexes,老的索引文件index,合并之后的索引index(有可能被命名为indexs)
总之这一步就是把老索引与新建索引合并，然后把合并之后的索引名改为index,其他的文件该删的删，改名的改
更新机群的tomcat下的web.xml文件
}
//以上步骤，需要修改为多线程方式，
按每个地区生成一个线程，从一到九步走完，每个地区每次生成一个该地区的新索引和segment
再一个线程无限读取每个地区生成的新索引，只要生成完毕，就把新的索引合并到hadoop文件系统中的另外一个地方,用于索引
而且整个流程都有很大的优化空间，预计想达到的效果为：要抓取的页面最新数据可以在3小时内爬取分析建索引