Ubuntu环境下nutch2.2.1集成HBase0.94.25

nutch2.2.1集成HBase0.94.25

（详见：http://duguyiren3476.iteye.com/blog/2085973 ）

1. 修改nutch的hbase配置

//将自己的hbase配置copy到nutch配置中

cp /home/hbase/conf/hbase-site.xml /home/nutch/conf/  

 

2. 使用hbase0.92.2-jar代替原来的hbase文件（在/home/nutch/runtime/local/lib中）

原因：（我使用的hbase时0.94.25）

nutch自带的gora3.0只能最高支持hbase0.92，默认的是hbase0.90

如果使用默认的hbase0.90操作自己安装的hbase0.94，报错：

java.lang.IllegalArgumentException: Not a host:port pair 

 如果直接使用hbase0.94操作自己安装的hbase0.94，报错：

java.lang.NoSuchMethodError:org.apache.hadoop.hbase.HColumnDescriptor.setMaxVersions(I)V  

 解决办法：

使用0.92.2hbase的jar文件

 

3. 抓取

　　（1）设置抓取地址

cd runtime/local/  

mkdir -p urls  

sudo gedit urls/seed.txt   

 在seed中填入你要抓取的地址：比如：http://www.apache.org/

　　（2）将urls放到hdfs系统中

hadoop fs -copyFromLocal urls /home/hadoop/urls  

 　　（3）运行nutch，并把结果放到hbase

nutch inject /home/hadoop/urls

 　　（4）查看hbase

hbase shell



//进入shell后

list

 如果出现 “webpage” 则成功。

　　（5）

nutch  generate -topN 3  

nutch fetch -all  

nutch parse -all  

nutch updatedb  

 　　（6）进入hbase查询