Hive整合Hbase详解
Hive 整合Hbase
1、摘要
Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。
2、应用场景
2.1 将ETL操作的数据存入HBase
2.2 HBase作为Hive的数据源
2.3 构建低延时的数据仓库
3、环境准备
3.1 hive与hbase版本兼容性
Hive版本 hive-1.2.1、hbase的版本hbase-1.2.1
hbase与hive哪些版本兼容？
Ø hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容。
Ø hive1.x与hbase0.98.x或则更低版本是兼容的。
Ø hive2.x与hbase1.x及比hbase1.x更高版本兼容。
Hive 0.6.0推出了storage-handler，用于将数据存储到HDFS以外的其他存储上。并方便的通过hive进行插入、查询等操作。同时hive提供了针对Hbase的hive-hbase-handler。这使我们在使用hive节省开发M/R代码成本的同时还能获得HBase的特性来快速响应随机查询。
但是，hive自带的hive-hbase-handler是针对特定版本的Hbase的，比如，0.7.0版本的hive编译时使用的是0.89.0版本的Hbase，0.6.0版本的hive默认使用0.20.3版本的hbase进行编译。如果能够找到对应的版本，可以跳过编译的步骤直接使用。不过，我们现状已经找不到这些版本的Hbase与之配合使用了。所以只好自己来编译这个jar包。
注：使用不匹配的版本，一些功能会发生异常。其原因是由于没有重新编译storage-handler组件，发现在hive中查询HBase表存在问题。hive-hbase-handler.jar的作用在hbase与hive整合的时候发挥了重要作用，有了这个包，hbase与hive才能通信。
如果想hbase1.x与hive1.x整合，需要编译hive1.x 代码本身
编译：
创建项目
在eclipse中创建一个项目。Java project即可。
随便起个名，finish即可。
导入代码
在创建好的项目上点击右键，选择Import
选择General下的FileSystem
找到hive-1.2.1\src\hbase-handler\src\java目录选择其中的org目录导入
添加依赖包
导入代码后可以看到很多的错误提示。这时由于没有引入依赖的jar包导致的。下面，我们引入,需要hadoop、hive、hbase下相关的lib包
新建lib目录，把对应的依赖包，导入
选择Build Path点击Add to Bulid Path
至此可以导出我们需要的jar包了。在org.apache.hadoop.hive.hbase包上点击右键，选择export
选择java下的JAR file，选择一个生成位置，即可点击完成。
到这里我们就生成了符合自己Hbase版本的hive-hbase-handler了。
3.2 hive与hbase整合环境配置
（1）修改hive-site.xml文件，添加配置属性（zookeeper的地址）
（2）引入hbase的依赖包
将hbase安装目录下的lib文件夹下的包导入到hive的环境变量中
在hive-env.sh 文件中添加
export HIVE_CLASSPATH=$HIVE_CLASSPATH:/var/local/hbase/lib/*
至此、hive与hbase整合环境准备完成。
4、实战
4.1 hbase表映射到hive表中
① 在hbase中创建表：表名hbase_test, 有三个列族 f1、f2、f3
create 'hbase_test',{NAME => 'f1',VERSIONS => 1},{NAME => 'f2',VERSIONS => 1},{NAME => 'f3',VERSIONS => 1} |
② 插入数据
put 'hbase_test','r1','f1:name','zhangsan' put 'hbase_test','r1','f2:age','20' put 'hbase_test','r1','f3:sex','male' put 'hbase_test','r2','f1:name','lisi' put 'hbase_test','r2','f2:age','30' put 'hbase_test','r2','f3:sex','female' put 'hbase_test','r3','f1:name','wangwu' put 'hbase_test','r3','f2:age','40' put 'hbase_test','r3','f3:sex','male' |
③ 查询数据
④ 创建基于hbase的hive表
CREATE EXTERNAL TABLE hiveFromHbase( rowkey string, f1 map f2 map f3 map ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:,f3:") TBLPROPERTIES ("hbase.table.name" = "hbase_test");
|
这里使用外部表映射到HBase中的表，这样，在Hive中删除表，并不会删除HBase中的表，否则，就会删除。另外，除了rowkey，其他三个字段使用Map结构来保存HBase中的每一个列族。
l hbase.columns.mapping
Hive表和HBase表的字段映射关系，分别为：Hive表中第一个字段映射:key(rowkey)，第二个字段映射列族f1，第三个字段映射列族f2,第四个字段映射列族f3
l hbase.table.name
HBase中表的名字
⑤ hive中查询hbase表
可以看到，Hive中只有一行数据，因为只有一个rowkey，每一个列族的列和值，分别被存储到Map结构中
⑥ Hive中插入数据到HBase表
insert into table hiveFromHbase SELECT 'r4' AS rowkey, map('name','zhaoliu') AS f1, map('age','50') AS f2, map('sex','male') AS f3 from person limit 1; |
插入成功后查看2张表的数据
hive表hiveFromHbase：
Hbase表hbase_test:
Hive中的外部表hiveFromHbase，就和其他外部表一样，只有一份元数据，真正的数据是在HBase表中，Hive通过hive-hbase-handler来操作HBase中的表。
4.2 hive表映射到hbase表中
① 创建映射hbase的表
create table hive_test( id string, name string, age int, address string )STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f2:age,f3:address") TBLPROPERTIES ("hbase.table.name" = "hbaseFromhive"); |
在hive1.2.1 跟hbase 0.98整合时，需要添加：
"hbase.mapred.output.outputtable" = "hbaseFromhive" 表属性
TBLPROPERTIES ("hbase.table.name" = "hbaseFromhive","hbase.mapred.output.outputtable"="hbaseFromhive");
如果不添加会报错：Must specify table name
② 查看hbase映射表是否产生
③ 查看hbase映射表的表结构和数据
由于hive表中没有加载数据，此时hbase中映射的表也无数据
④ Hive表加载数据
数据来源于另一张表hive_source;
查看hive_source的表结构和数据
加载数据： insert overwrite table hive_test select * from hive_source;
|
⑤ 查看hive和hbase中表的数据
映射表可以查看到hive表中的数据。