Hive整合HBase完整笔记（亲测）

Hive与HBase整合文档

1、  Hive整合HBase配置

1.1   拷贝hbase 相关jar包

将hbase 相关jar包拷贝到hive lib目录下

hbase-client-0.98.13-hadoop2.jar

hbase-common-0.98.13-hadoop2.jar

hbase-server-0.98.13-hadoop2.jar

hbase-common-0.98.13-hadoop2-tests.jar

hbase-protocol-0.98.13-hadoop2.jar

htrace-core-2.04.jar

hive-hbase-handler-1.0.0.jar

zookeeper-3.4.5.jar

1.2   修改hive-site.xml配置文件

将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。

   修改hive.zookeeper.quorum属性

    添加hbase.zookeeper.quorum属性，此属性hive-site.xml之前不存在。

1.3   修改hive-env.sh配置文件

同默认配置文件中copy一份hive-env.sh文件

修改hive-env.sh配置文件

1.4   启动Hive

上述配置完成之后，通过bin/hive命令启动hive

如果出现以上输出信息，说明hive整合hbase成功。

2、  Hive整合HBase后使用

2.1 准备测试数据

（1）测试数据文件

创建测试文件course.csv

第一列为课程名称，第二列为课程分数

（2）数据加载到HDFS

在hdfs文件系统中创建hive-hbase目录，并加载测试数据。

查看hdfs文件目录

创建/hive-hbase/course目录

将course.csv文件上传至/hive-hbase/course目录下

（3）创建Hive数据库

进入Hive Shell 客户端创建库course

（4）创建Hive表

进入Hive Shell 客户端创建外部表。

create external table if notexists course.testcourse(cname string,score int) row format delimited fieldsterminated by '\t' stored as textfile location '/hive-hbase/course';

（5）查看hive表数据

select * from course.testcourse;

从查询语句的执行结果可以看出，Hive表中的数据和hdfs上的数据一致。

2.2 创建Hive内部表

create table 建表语句声明

course.hbase_testcourse  所创建的Hive表名称

(cname string,score int) 所创建Hive表字段

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 指定使用Hive Storage Handlers

WITHSERDEPROPERTIES("hbase.columns.mapping" = ":key,cf:score")  指定HBase表与Hive表字段映射关系。

TBLPROPERTIES("hbase.table.name"= "hbase_testcourse"); 指定HBase表名

内部表创建语句如下：

create tablecourse.hbase_testcourse(cname string,score int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITHSERDEPROPERTIES("hbase.columns.mapping" = ":key,cf:score")TBLPROPERTIES("hbase.table.name" = "hbase_testcourse","hbase.mapred.output.outputtable" = "hbase_testcourse");

（1）查看Hive中所创建的表

进入Hive Shell 客户端执行

hive> use course;

hive> show tables;

（2）查看HBase 中所创建的表

进入HBase Shell 客户端执行

bin/hbase shell

2.3 加载数据

 创建完内部表，可以通过Hive支持的insert overwrite 方式将一个表的数据导入HBase。

下面是对应的执行语句：

insert overwrite table course.hbase_testcourseselect cname,score from course.testcourse;

 

2.4 执行查询

加载完数据后，需要验证一下加载结果是否存在问题，验证一下总记录数。

select count(*) fromcourse.hbase_testcourse;

2.5 创建外部表

创建外部表适用于该表在HBase中已经存在，但在Hive中并没有相关信息。此时可以通过创建外部表的方式，为HBase现有表提供SQL查询条件。而内部表适用于Hive和HBase都没有相关表的情况。

（1）创建HBase表

进入HBase Shell客户端执行建表命令

create 'hbase_test',{ NAME =>'cf'}

（2）插入数据

执行以下命令插入数据

put 'hbase_test','hadoop','cf:score', '95'

put 'hbase_test','storm','cf:score', '96'

put 'hbase_test','spark','cf:score', '97'

（3）查看数据

执行扫描表操作

scan 'hbase_test'

（4）创建Hive外部表

进入Hive Shell 客户端，创建外部表course.hbase_test，建表命令如下所示：

create external tablecourse.hbase_test(cname string,score int) STORED BY  'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES("hbase.columns.mapping" =":key,cf:score") TBLPROPERTIES("hbase.table.name" ="hbase_test", "hbase.mapred.output.outputtable" = "hbase_test");

备注：创建外部表和创建内部表的命令基本一致，唯一的区别就是：创建内部表使用create table，创建外部表使用create external table。

（5）Hive 查看数据

执行Hive命令查询HBase 表中的数据。

select * from hbase_test;

通过创建外部表可以成功从Hive 查询HBase表中的数据。

 技术交流群：695520445