Nutch-2.2.1学习之四Nutch与Hbase结合使用时常见问题

       Nutch-2.2.1不再使用单一的存储结构，而是通过使用Apache Gora，是得Nutch-2.2.1可以将数据存储在诸如HBase、Accumulo、Cassandra、MySQL、DataFileAvroStore、AvroStor中。这一变化在提供更多选择，更多灵活性的同时，势必增加了Nutch的复杂性。相信很多人在从Nutch-1.x版本过渡到Nutch-2.x版本时都或多或少的遇到了各种问题，这篇文章主要记录了笔者在学习Nutch-2.2.1结合HBase使用时遇到的一些问题，希望对独到这篇文章的人有些帮助或者提供一些解决自己特定问题的思路。

        目前HBase的最新稳定版本为HBase-0.94.14，而编译Nutch-2.2.1时依赖的gora-hbase版本为0.3，gora-hbase依赖的hbase版本为0.90.4，这就要求hbase的版本为0.90.4，与最新的hbase版本还是有较大差距的。笔者也曾经试图将Nutch-2.2.1与hbase-0.94.14结合起来，方法是将hbase的jar包复制到Nutch目录中runtime下local目录中lib目录下，但失败了。原因是gora-hbase调用hbase中的方法有的已经发生了变化，也曾试图下载gora-hbase源代码使用hbase-0.94.14的jar包重新编译，出现了一些gora-hbase实现hbase的接口，但这些hbase接口新增了一些方法，若想编译成功就必须实现成功。最后查看了Apache Gora的最新版本0.4的问题跟踪列表，找到了关于hbase的问题，原文如下：

We haven't touched the HBase versioning in a good while. When a new user heads over to the HBase site, they are directed to the 'stable' release which is currently sitting at 0.94.4. 

I realise that we have (legacy) support for the 0.90.X branch of HBase, but from what I can see, there is no current justification for this decision and it is also not within any strategic short/medium/long term objectives of Gora. 

This issue should 

*Enable us to discuss what Hbase branch we wish to support moving forward 
*Actually implement the upgrade which gathers most consensus.

       该段评论的url链接为https://issues.apache.org/jira/browse/GORA-201，大家可以自己阅读一下更多的讨论。从这些讨论中可以得到gora-hbase是支持hbase-0.92.X版本的，所以在尝试最新的hbase版本失败后，笔者决定将hbase的版本将为0.92.1，读者可以从http://archive.apache.org/dist/hbase/下载自己喜欢的版本。下面这些问题都是在使用Nutch-2.2.1和HBase-0.92.1的过程出现的问题，后面会做些修改gora-hbase源码，实现hbase最新版本接口的方法的尝试，至于成功与否不敢保证。

在执行Nutch的各种操作之前，先要确保已经正确配置了gora.properties、nutch-site.xml，修改了ivy目录下的ivy.xml文件，然后再nutch家目录下执行ant命令重新编译，这时会下载依赖的jar包。编译成功后，在对hbase的配置文件做些修改，在配置文件中指定hbase和zookeeper保存数据的目录。在完成这些配置后，启动hbase，执行start-hbase.sh，然后就可以执行nutch的各种命令了。

        第一个遇到的问题如下面的代码所示，对这个问题首先google了一下，也搜到了一些解决方案，比如说要下载gora-0.3的源码，编译gora-hbase目录等，但在我的lib目录下是存在gora-hbase的jar包，而根据错误信息确实是缺少org.apache.gora.hbase.store.HBaseStore类，通过打印classpath，也能确认该类在路径中，怎么还是会出现这种情况呢？万般无奈之下，只好查看源代码了。在StorageUtils类中的90行，可以发现会根据nutch-site.xml中的配置storage.data.store.class进行类的加载，打开配置文件，发现value那里竟然有空格，所以导致了无法发现org.apache.gora.hbase.store.HBaseStore类的问题。当然这只本人的一个笔误而引发的问题，可能其他人在学习过程中不会遇到这样的问题，但是这说明了一个思路，就是出现问题时不要盲目的相信网络上的解决方案，能解决最好，不能解决可以通过去官网查看问题列表或者查看源代码解决。

[hadoop@hadoop local]$ bin/nutch inject urls -crawlId blog
InjectorJob: starting at 2013-12-01 17:09:50
InjectorJob: Injecting urlDir: urls
InjectorJob: java.lang.ClassNotFoundException:  org.apache.gora.hbase.store.HBaseStore
	at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:169)
	at org.apache.nutch.storage.StorageUtils.getDataStoreClass(StorageUtils.java:89)
	at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:73)
	at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:221)
	at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:251)
	at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:273)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
	at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:282)

        第二个遇到的问题如下所示，这个问题可以在网上或者Gora的官网找到答案。这个问题是由于HBase的版本问题引起的。编译完的Nutch依赖的hbase版本是0.90.4，而我所采用的版本是0.92.1，这时只要将HBase-0.92.1目录下的jar复制到Nutch的lib目录下，并且移除0.90.4的jar包即可。

InjectorJob: starting at 2013-12-01 17:49:22
InjectorJob: Injecting urlDir: urls
InjectorJob: org.apache.gora.util.GoraException: java.lang.RuntimeException: java.lang.IllegalArgumentException: Not a host:port pair:2967@hadoophadoop,46346,1385888950533
	at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:167)
	at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135)
	at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:75)
	at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:221)
	at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:251)
	at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:273)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
	at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:282)
Caused by: java.lang.RuntimeException: java.lang.IllegalArgumentException: Not a host:port pair:                                                                                                  2967@hadoophadoop,46346,1385888950533
	at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:127)
	at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)
	at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)
	... 7 more
Caused by: java.lang.IllegalArgumentException: Not a host:port pair:2967@hadoophadoop,46346,1385888950533
	at org.apache.hadoop.hbase.HServerAddress.<init>(HServerAddress.java:60)
	at org.apache.hadoop.hbase.MasterAddressTracker.getMasterAddress(MasterAddressTracker.java:63)
	at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:354)
	at org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:94)
	at org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:109)
	... 9 more

这是本人在学习Nutch2.2.1，且以HBase为存储时暂时遇到的问题，相信后面还会陆陆续续遇到一些其他问题，也会随时更新该文章，与大家一起分享。