Hive学习笔记

数据分析的引擎：Hive、Pig ----> 属于Hadoop体系结构
Impala
Spark SQL -----> 类似Hive

一、什么是Hive？
1、Hive是一个翻译器，把SQL语句翻译成一个MapReduce程序
2、常见的数据分析引擎：Hive、Pig、Impala、Spark SQL
3、Hive是一个基于Hadoop之上的数据分析引擎（数据仓库）
Hive HDFS
表 目录
数据 文件
分区 目录

4、Hive支持SQL（SQL92的一个子集）


二、Apache Hive的体系结构
[img]http://dl2.iteye.com/upload/attachment/0129/7036/bb6e06e7-b860-31ff-964f-7e9fffeb2871.png[/img]


三、Hive的安装和配置
1、安装模式：嵌入模式 ----> 需要Hive自带的一个关系型数据库：Derby
本地模式、远程模式 ----> 需要MySQL数据库的支持

tar -zxvf apache-hive-2.3.0-bin.tar.gz -C ~/training/
环境变量：vi ~/.bash_profile
HIVE_HOME=/root/training/apache-hive-2.3.0-bin
export HIVE_HOME

PATH=$HIVE_HOME/bin:$PATH
export PATH


2、嵌入模式
（1）使用Hive自带的Derby数据库来存储元信息
（2）Hive只支持一个连接
创建 conf/hive-site.xml




javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=metastore_db;create=true



javax.jdo.option.ConnectionDriverName
org.apache.derby.jdbc.EmbeddedDriver



hive.metastore.local
true



hive.metastore.warehouse.dir
file:///root/training/apache-hive-2.3.0-bin/warehouse



初始化MetaStore：
schematool -dbType derby -initSchema

日志：
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.


四、Hive的数据模型（重要）

五、Hive的查询：就是SQL语句

六、Hive的Java API ----> 就是JDBC程序

七、Hive的自定义函数（UDF：user define function）：本质就是一个Java程序


一、Hive的安装和配置:远程模式（需要MySQL数据库）
（*）在嵌入模式下，在哪个目录下执行的数据库初始化，就应该在哪个目录下执行: hive
（*）远程模式：MySQL
（1）配置MySQL的数据库:http://www.mysqlfront.de/
（2）配置hive-site.xml： JDBC的参数




javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?useSSL=false



javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver



javax.jdo.option.ConnectionUserName
hiveowner



javax.jdo.option.ConnectionPassword
Welcome_1



（3）把MySQL数据库的驱动放到: Hive/lib下
（4）初始化MySQL数据库
老版本的Hive：第一次运行Hive
新版本的hive：schematool -dbType mysql -initSchema


二、Hive的数据模型（重要）: 表的类型 ----> 默认分隔符是：tab键
,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30


1、内部表：相当于MySQL（Oracle）中表，将数据保存到Hive自己的数据仓库的目录中: /usr/hive/warehouse
create table emp
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int
);

导入数据到表中：本地、HDFS
load语句、insert语句
load语句相当于ctrl+X

load data inpath '/scott/emp.csv' into table emp; ----> 导入HDFS
load data local inpath '/root/temp/***' into table emp; ----> 导入本地文件

创建表，并且指定分隔符
create table emp1
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int
)row format delimited fields terminated by ',';

创建部门表，保存部门数据
create table dept
(deptno int,
dname string,
loc string
)row format delimited fields terminated by ',';

load data inpath '/scott/dept.csv' into table dept;


2、分区表：提高查询的效率----> 查看SQL的执行计划
分区 ----> 目录

（*）根据员工的部门号建立分区
create table emp_part
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int
)partitioned by (deptno int)
row format delimited fields terminated by ',';

往分区表中导入数据：指明分区
insert into table emp_part partition(deptno=10) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=10;
insert into table emp_part partition(deptno=20) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=20;
insert into table emp_part partition(deptno=30) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=30;

（*）Hive SQL的执行计划
（*）补充：Oracle中的索引和执行计划
（*）问题：索引一定可以提高查询的效率吗？（数据量少，数据严重倾斜）
（*）Oracle中索引两种类型： B树索引（默认）----> 适合：insert update delete
位图索引 ----> 适合：select


3、外部表: external table 相对于内部表
（*）实验的数据
# hdfs dfs -cat /students/student01.txt
1,Tom,23
2,Mary,24
# hdfs dfs -cat /students/student02.txt
3,Mike,26

（*）定义：（1）表结构 （2）指向的路径
create external table students_ext
(sid int,sname string,age int)
row format delimited fields terminated by ','
location '/students';

（*）Oracle中的外部表
数据加载方式：
（1）Oracle SQL*Loader 工具
（2）Oracle的数据泵---> PLSQL程序的一个程序包

4、桶表：本质也是一种分区表，类似Hash分区
桶 ----> 文件
创建一个桶表，按照员工的职位job分桶
create table emp_bucket
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int
)clustered by (job) into 4 buckets
row format delimited fields terminated by ',';

使用桶表，需要打开一个开关
set hive.enforce.bucketing=true;

使用子查询插入数据
insert into emp_bucket select * from emp1;

5、视图：view
（*）视图是一个虚表，虚：视图是不存数据的
（*）优点：简化复杂的查询
（*）举例：查询部门名称、员工的姓名
create view myview
as
select dept.dname,emp1.ename
from emp1,dept
where emp1.deptno=dept.deptno;

select * from myview;

（*）补充：视图（Oracle数据库） ----> 物化视图
如果视图可以缓存数据，提高效率

6、Hive的查询
（1）查询所有的员工信息
select * from emp1;

（2）查询员工信息：员工号 姓名 薪水
select empno,ename,sal from emp1;

（3）多表查询:查询部门名称、员工的姓名
select dept.dname,emp1.ename
from emp1,dept
where emp1.deptno=dept.deptno;

（4）子查询：hive只支持：from和where后面的子查询
参考讲义的：P50

（5）内置函数：select max(sal) from emp1;

（6）条件函数 就是一个if else： 做一个报表：涨工资，总裁1000 经理800 其他400
select empno,ename,job,sal,
case job when 'PRESIDENT' then sal+1000
when 'MANAGER' then sal+800
else sal+400
end
from emp1;


select empno,ename,job,sal,
case job when 'PRESIDENT' then sal+1000
when 'MANAGER' then sal+800
else sal+400
end
from emp;

Oracle数据库：decode函数也是条件函数

三、Hive的Java客户端


四、Hive的自定义函数


一、Hive的Java客户端
1、JDBC：Java的标准的访问数据库的接口
启动Hive Server: hiveserver2

java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException:User:
root is not allowed to impersonate anonymous
在老版本的Hive中，是没有这个问题的
把Hadoop HDFS的访问用户（代理用户） ---> *
core-site.xml

hadoop.proxyuser.root.hosts
*



hadoop.proxyuser.root.groups
*


2、ODBC、Thrift Client


二、Hive的自定义函数：内置函数、自定义函数（就是一个Java程序，封装我们的业务逻辑）
UDF: user define function

1、实现关系型数据库中的concat函数: 拼加字符串
select concat('Hello ' ,'World') from dual; ----> Hello World

2、根据员工的薪水，判断薪水的级别
(*) sal < 1000 ---> Grade A
(*) 1000<= sal < 3000 ---> Grade B
(*) sal >= 3000 ---> Grade C

3、打包
将jar包加入hive的classpath
add jar /root/temp/myudf.jar;

创建别名（函数名称）
create temporary function myconcat as 'demo.udf.MyConcatString';
create temporary function checksal as 'demo.udf.CheckSalaryGrade';