hive结合hbase数据处理解决方案测评

[b]前言[/b]
我们考虑为什么要将hive与hbase结合，出于hbase有唯一主键的缘故可以将其作为存储，顺手能帮我们完成海量数据“去重”的etl处理，而hive能作为我们统计计算。两者结合简直就是双剑合臂～～，但效果怎么样呢？
[b]目的[/b]
基于多种hiveSQL去重方式失败后，考虑过使用mysql做近期数据去重的方式，然而不能满足全量去重的业务需求，所以考虑使用hbase的唯一主键来达到全量“去重”的效果。
[b]测试环境[/b]
hadoop-1.0.3
hive-0.9.0
hbase-0.94.2
zookeeper-3.3.5
1namenode，5datanode
sqoop
[b]测试指标[/b]
1.mysql->hbase sqoop执行命令执行效率
2.hiveSQL查询统计hive&hbase表执行效率
3.hive&hbase表copy数据成hive表效率
4.hbase稳定性
[b]测试结果[/b]
1.mysql->hbase sqoop执行命令执行效率
mysql数据条数：93559
cpu耗时：26.280s
执行耗时：91.0148s
小结：sqoop将mysql记录转化成hbase PUT对象，批量入库至hbase，效率很高，能满足要求。
2.hiveSQL查询统计hive&hbase表执行效率
数据量：1616374
sql：select count(*) from t1；
[table]
|case |cpu cost |执行cost|
|hive&hbase |10 minutes 45 seconds |728.647 seconds|
|hive |25 seconds |64.815 seconds|
[/table]
小结：统计效率很慢，远不能满足需求。
3.hive&hbase表copy数据成hive表效率
数据量：1616374
sql：insert into table t1 select * from t2；
[table]
|case |cpu cost |执行cost|
|hive&hbase->hive |12 minutes 13 seconds |1113.729 seconds|
|hive->hive |1 minutes 7 seconds |84.3 seconds|
[/table]
小结：hiveSQL copy hive&hbase表数据，其实也是mapreduce程序，需要查询hbase表，而hbase的查询效率低，直接导致mapreduce耗时长。
4.hbase稳定性
在运行过程当中，没有遇到hbase死节点的情况。
针对hive结合hbase的情形，出现过hive创建的hbase表不能删除的情况，hive表数据导入hive&hbase表执行过程中假死的现象（在执行hive scan，很慢导致）。
[b]总结[/b]
hive&hbase表的统计计算是基于hbase，效果相当不理想，没有达到“双剑合臂”的效果,后续调整hbase参数后继续测试，见下篇。
[b]参考文献[/b]
http://search-hadoop.com/m/xAweX1bqjoB1&subj=Re+Hbase+Hive+integration+performance+issues
http://www.cnblogs.com/imac/archive/2012/11/04/2753301.html