hadoop hive hbase 生态系统整合

hadoop hive hbase 生态系统整合

1 hive hbase 整合需要hive_hbase-handler.jar，目前的整合对版本搭配很敏感。
而我所使用的是 hadoop-0.20.2  + hive-0.6.0 + hbase-0.20.3

2 download hbase-0.20.3
   tar hbase-0.20.3

3 config hbase-0.20.3
   hbase-site.xml
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hostname:9090/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/data/hbas/zookeeper/property/dataDir</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hostname</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2222</value>
    </property>
    <property>
        <name>hbase.regionserver.lease.period</name>
        <value>180000</value>
   </property>

  regionservers
  略

   hbase-env.sh
   略

为了确保版本一直把hbase-0.20.3.jar 以及zookeeper.3.2.2.jar 覆盖 到 hive/lib/ 下

4 config hive
   在hive-site.xml 追加 如下配置：
      <property>
        <name>hive.aux.jars.path</name>
        <value>file:///usr/local/hive/lib/hive_hbase-handler.jar,file:///usr/local/hive/lib/hbase-0.20.3.jar,file:///usr/local/hive/lib/zookeeper-3.2.2.jar</value>
   </property>


5 config hadoop
  在hadoop-site.xml 追加如下配置：
        <property>
                <name>dfs.datanode.max.xcievers</name>
                <value>4906</value>
        </property>

6 把 hbase-site.xml cp 到 hive/conf   hadoop/conf 下

7 为确保hbase与hadoop 配置一样，应该要把hadoop-site.xml cp到 hbase/conf/下

bin/hive -hiveconf hbase.zookeeper.quorum=hostname
启动