nutch全网爬行的底层命令

 

最近在研究nutch，找到了关于使用底层命令进行全网爬行的资料。

 首先获得网址集，使用http://rdf.dmoz.org/rdf/ 目录下的content.example.txt 文件做测试，建立文件夹dmoz

 命令：bin/nutch org.apache.nutch.tools.DmozParser content.example.txt >dmoz/urls

 注射网址到crawldb数据库：

 命令：bin/nutch inject crawl/crawldb dmoz

 创建抓取列表：

 命令：bin/nutch generate crawl/crawldb crawl/segments

 把segments下的文件保存到变量s1中，供以后调用：

 命令：s1=`ls -d crawl/segments/2* | tail -1`

 命令：echo $s1

 注`不是单引号，而是左上角跟~一个键位的那个

 运行fetcher获取这些url信息：

 命令：bin/nutch fetch $s1

 更新数据库，把获取的页面信息存进数据库中：

 命令：bin/nutch updatedb crawl/crawldb $s1

 第一次抓取结束。

 接下来选择分值排在前10的url来进行第二次和第三次抓取：

 命令：bin/nutch generate crawl/crawldb crawl/segments -topN 10

 命令：s2=`ls -d crawl/segments/2* | tail -1`

 命令：echo $s2

 命令：bin/nutch fetch $s2

 命令：bin/nutch updatedb crawl/crawldb $s2

 命令：bin/nutch generate crawl/crawldb crawl/segments -topN 10

 命令：s3=`ls -d crawl/segments/2* | tail -1`

 命令：echo $s3

 命令：bin/nutch fetch $s3

 命令：bin/nutch updatedb crawl/crawldb $s3

 根据segments的内容更新linkdb数据库：

 命令：bin/nutch invertlinks crawl/linkdb crawl/segments/*

 建立索引：

 命令：bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb crawl/segments/*

 可以通过此命令进行查询：

 命令：bin/nutch org.apache.nutch.searcher.NutchBean faq   此处的faq代表所要搜索的关键词