HIVE整合HBASE

目录

一、实验环境准备

二、Hive整合HBase原理

三、整合的意义

四、实验步骤

 1.修改hive-site.xml文件以及hive-env.sh文件配置

2. 将hbase lib目录下的所有文件复制到hive lib目录中

3. 在hive中创建映射表

4. 导入数据测试

5.通过Hbase put添加数据,Hive查看添加数据 


一、实验环境准备

Hive版本 Hive-2.3.3

Hbase的版本Hbase-1.3.1

hadoop、zookeeper、jdk

开启相关集群

HIVE整合HBASE_第1张图片

二、Hive整合HBase原理

        Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现。

        Hive和HBase通信原理如下图:

HIVE整合HBASE_第2张图片

三、整合的意义

1.Hive和Hbase在大数据架构中处在不同位置,Hive是一个构建在Hadoop基础之上的数据仓库,主要解决分布式存储的大数据处理和计算问题,Hive提供了类SQL语句。

2.通过它可以使用SQL查询存放在HDFS上的数据,sql语句最终被转化为Map/Reduce任务运行,但是Hive不能够进行交互查询——它只能够在Haoop上批量的执行Map/Reduce任务。

3.Hive适合用来对一段时间内的数据进行分析查询,例如,用来计算趋势或者网站的日志。Hive不应该用来进行实时的查询。因为它需要很长时间才可以返回结果。

4.Hbase是Hadoop database 的简称,是一种NoSQL数据库,非常适用于海量明细数据(十亿、百亿)的随机实时查询,如交易清单、轨迹行为等。

5.在大数据架构中,Hive和HBase是协作关系,Hive方便地提供了Hive QL的接口来简化MapReduce的使用, 而HBase提供了低延迟的数据库访问。如果两者结合,可以利用MapReduce的优势针对HBase存储的大量内容进行离线的计算和分析。

四、实验步骤

 1.修改hive-site.xml文件以及hive-env.sh文件配置

        注:仅当hbase为集群模式时

 hive-site.xml


    hive.zookeeper.quorum
    node01,node02,node03


    hbase.zookeeper.quorum
    node01,node02,node03


    hive.aux.jars.path
    file:///opt/software/hive/lib/hive-hbase-handler-2.3.3.jar,file:///opt/software/hive/lib/zoo
keeper-3.4.10.jar,file:///opt/software/hive/lib/hbase-client-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1-tests.jar,file:///opt/software/hive/lib/hbase-server-1.3.1.jar,file:///opt/software/hive/lib/hbase-common-1.3.1.jar,file:///opt/software/hive/lib/hbase-protocol-1.3.1.jar,file:///opt/software/hive/lib/htrace-core-3.1.0-incubating.jar
    

 hive-env.sh

HIVE整合HBASE_第3张图片

2. 将hbase lib目录下的所有文件复制到hive lib目录中

注:先删除hive/lib目录下hbase开头的jar包

HIVE整合HBASE_第4张图片

3. 在hive中创建映射表

注:创建之前要先启动hive,创建完成后在hbase中查看表是否同时存在,存在即创建成功

 在hive里创建一个映射表

     创建

HIVE整合HBASE_第5张图片         list

HIVE整合HBASE_第6张图片

在 hbase 服务里使用命令同样可以查到 hbase_score 表,即整合成功。

4.测试

创建数据表并导入数据测试

HIVE整合HBASE_第7张图片

 

      数据

HIVE整合HBASE_第8张图片 

导入

 

插入数据到 hbase 的表中

insert overwrite table hive_hbase_test select * from test;

HIVE整合HBASE_第9张图片 

create table hive_hbase_test(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:name") tblproperties("hbase.table.name"="hive_hbase_test");

 

5.通过Hbase put添加数据,Hive查看添加数据 

1)在hbase shell中对表hive_hbase_test添加数据

put 'hive_hbase_test','4','cf1:name','mipeng'

 

(2)在hive中查看数据是否添加进来 

HIVE整合HBASE_第10张图片 

你可能感兴趣的:(hbase,hive,大数据)