目录
一、实验环境准备
二、Hive整合HBase原理
三、整合的意义
四、实验步骤
1.修改hive-site.xml文件以及hive-env.sh文件配置
2. 将hbase lib目录下的所有文件复制到hive lib目录中
3. 在hive中创建映射表
4. 导入数据测试
5.通过Hbase put添加数据,Hive查看添加数据
Hive版本 Hive-2.3.3
Hbase的版本Hbase-1.3.1
hadoop、zookeeper、jdk
开启相关集群
Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现。
Hive和HBase通信原理如下图:
1.Hive和Hbase在大数据架构中处在不同位置,Hive是一个构建在Hadoop基础之上的数据仓库,主要解决分布式存储的大数据处理和计算问题,Hive提供了类SQL语句。
2.通过它可以使用SQL查询存放在HDFS上的数据,sql语句最终被转化为Map/Reduce任务运行,但是Hive不能够进行交互查询——它只能够在Haoop上批量的执行Map/Reduce任务。
3.Hive适合用来对一段时间内的数据进行分析查询,例如,用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。
4.Hbase是Hadoop database 的简称,是一种NoSQL数据库,非常适用于海量明细数据(十亿、百亿)的随机实时查询,如交易清单、轨迹行为等。
5.在大数据架构中,Hive和HBase是协作关系,Hive方便地提供了Hive QL的接口来简化MapReduce的使用, 而HBase提供了低延迟的数据库访问。如果两者结合,可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。
注:仅当hbase为集群模式时
hive-site.xml
hive.zookeeper.quorum
node01,node02,node03
hbase.zookeeper.quorum
node01,node02,node03
hive.aux.jars.path
file:///opt/software/hive/lib/hive-hbase-handler-2.3.3.jar,file:///opt/software/hive/lib/zoo
keeper-3.4.10.jar,file:///opt/software/hive/lib/hbase-client-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1-tests.jar,file:///opt/software/hive/lib/hbase-server-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1.jar,file:///opt/software/hive/lib/hbase-protocol-1.3.1.jar,file:///opt/software/hive/lib/htrace-core-3.1.0-incubating.jar
hive-env.sh
注:先删除hive/lib目录下hbase开头的jar包
注:创建之前要先启动hive,创建完成后在hbase中查看表是否同时存在,存在即创建成功
在hive里创建一个映射表
创建
在 hbase 服务里使用命令同样可以查到 hbase_score 表,即整合成功。
数据
导入
插入数据到 hbase 的表中
insert overwrite table hive_hbase_test select * from test;
create table hive_hbase_test(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:name") tblproperties("hbase.table.name"="hive_hbase_test");
(1)在hbase shell中对表hive_hbase_test添加数据
put 'hive_hbase_test','4','cf1:name','mipeng'
(2)在hive中查看数据是否添加进来