Hadoop的数据分析引擎:Hive

数据分析的引擎:
1、Hive  ---> 属于Hadoop,支持SQL
   Pig   ---> 属于Hadoop,支持PigLatin
   
2、Spark SQL ---> 类似Hive,支持SQL和DSL

3、(了解)Impala

一、什么是Hive?
1、Hive是一个翻译器,SQL ---> Hive引擎  ---> MR程序
2、Hive是构建在HDFS上的一个数据仓库(Data Warehouse)
Hive       HDFS
表         目录
分区       目录
数据       文件
桶         文件

3、Hive支持SQL(SQL99标准的一个自子集)


二、Hive的体系结构(画图)
Hadoop的数据分析引擎:Hive_第1张图片

三、安装和配置
tar -zxvf apache-hive-2.3.0-bin.tar.gz -C ~/training/
设置环境变量 
HIVE_HOME=/root/training/apache-hive-2.3.0-bin
export HIVE_HOME
PATH=$HIVE_HOME/bin:$PATH
export PATH
核心配置文件: conf/hive-site.xml
1、嵌入模式
(*)不需要MySQL的支持,使用Hive的自带的数据库Derby
(*)局限:只支持一个连接




   javax.jdo.option.ConnectionURL
   jdbc:derby:;databaseName=metastore_db;create=true


   javax.jdo.option.ConnectionDriverName
   org.apache.derby.jdbc.EmbeddedDriver


   hive.metastore.local
   true


   hive.metastore.warehouse.dir
   file:///root/training/apache-hive-2.3.0-bin/warehouse



初始化Derby数据库
schematool -dbType derby -initSchema
日志
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.

2、本地模式、远程模式:需要MySQL
(*)MySQL的客户端: mysql front  http://www.mysqlfront.de/
(*)重新创建hive-site.xml




   javax.jdo.option.ConnectionURL
   jdbc:mysql://localhost:3306/hive?useSSL=false


   javax.jdo.option.ConnectionDriverName
   com.mysql.jdbc.Driver


   javax.jdo.option.ConnectionUserName
   hiveowner


   javax.jdo.option.ConnectionPassword
   Welcome_1


(*)将mysql的jar包放到lib目录下
      注意一定要使用高版本的MySQL驱动(5.1.43以上的版本)   
(*)初始化MySQL
(*)老版本:当第一次启动HIve的时候 自动进行初始化
(*)新版本:schematool -dbType mysql -initSchema
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed
四、Hive的数据模型(最重要的内容) ----> 注意:默认:列的分隔符是tab键(制表符)
测试数据:员工表和部门表
7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
1、内部表:相当于MySQL的表  对应的HDFS的目录  /user/hive/warehouse
create table emp
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int);
插入数据 insert、load语句(从某个HDFS的目录或者本地Linux的目录上,把数据导入Hive的表 本质ctrl+x)
load data inpath '/scott/emp.csv' into table emp;    导入HDFS的数据
load data local inpath '/root/temp/*****' into table emp;    导入本地Linux的数据

创建表的时候,一定指定分隔符
create table emp1
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int)
row format delimited fields terminated by ',';
创建部门表  并且导入数据
create table dept
(deptno int,
dname string,
loc string)
row format delimited fields terminated by ',';

2、分区表: 可以提高查询的效率的----> 通过查看SQL的执行计划
根据员工的部门号创建分区
create table emp_part
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int)
partitioned by (deptno int)
row format delimited fields terminated by ',';

指明导入的数据的分区(通过子查询导入数据) ----> MapReduce程序
insert into table emp_part partition(deptno=10) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=10;
insert into table emp_part partition(deptno=20) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=20;
insert into table emp_part partition(deptno=30) select empno,ename,job,mgr,hiredate,sal,comm from emp1 where deptno=30;


3、外部表:参考讲义P47
create external table students_ext
(sid int,sname string,age int)
row format delimited fields terminated by ','
location '/students1';

补充点知识:Oracle数据库中的外部表
数据有两种加载方式
(1)SQL*Loader
(2)数据泵 Data Pump

4、桶表: 桶是一个文件
(*) 复习:hash分区
(*) 举例:创建一个桶表,根据员工的职位(job)进行分桶
create table emp_bucket
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int)
clustered by (job) into 4 buckets
row format delimited fields terminated by ',';


                需要设置环境变量:set hive.enforce.bucketing = true;
通过子查询插入数据
insert into emp_bucket select * from emp1;

5、视图:view  虚表
(1) 视图不存数据  视图依赖的表叫基表
(2) 操作视图 跟操作表 一样
(3) 视图可以提高查询的效率吗?
不可以、视图是简化复杂的查询

(4) 举例  查询员工信息:部门名称 员工姓名
create view myview
as
select dept.dname,emp1.ename
from emp1,dept
where emp1.deptno=dept.deptno;

(5) 补充:如果视图可以缓存数据 ------> 物化视图(可以缓存数据)

五、Hive的查询:就是SQL:select ---> MapReduce
1、查询所有的员工信息
    select * from emp1;

2、查询员工信息:员工号 姓名 薪水
    select empno,ename,sal from emp1;

3、多表查询  部门名称  员工姓名
select dept.dname,emp1.ename
from emp1,dept
where emp1.deptno=dept.deptno;


4、子查询:
    hive只支持:from和where子句中的子查询

   补充:Oracle数据库中的子查询支持:from、where、select、having后面
                         不能使用子查询:group by


5、条件函数:  case .... when ....(Oracle中叫条件表达式)
              是标准的SQL语句
  就是在SQL中实现一个if  else 逻辑
  
    举例:做报表,根据职位给员工涨工资
      PRESIDENT  1000
  MANAGER    800
  其他       400
  
  把涨前、涨后的薪水显示出来
select empno,ename,job,sal,
case job when 'PRESIDENT' then sal+1000
when 'MANAGER' then sal+800
else sal+400
end 
from emp1;   
  
补充:Oracle中,条件表达式还有一种方式:decode函数 ---> Oracle自己的语法
   
六、Hive的Java API:本质就是JDBC程序
1、把lib下jar包
2、启动HiveServer2
3、错误
    User: root is not allowed to impersonate anonymous
            配置Hadoop中core-site.xml文件,增加如下配置:

  hadoop.proxyuser.root.hosts
  *

   

  hadoop.proxyuser.root.groups
  *


4、hive早期版本中,还有一种方式  Thrift Client


七、Hive的自定义函数(UDF:user defined function):本质就是一个Java程序
1、封装业务逻辑
2、举例
(1)实现类似Oracle中的concat函数:拼加字符串
select concat('hello',' world') from dual; -----> 得到  hello world
(2)根据员工的薪水,判断薪水的级别
      sal <1000    ----> Grade A
  1000<=sal<3000 --> Grade B
  sal>=3000     ---> Grade C
3、部署自定义的函数
   add jar /root/temp/udf.jar;
   
   为函数创建别名
   create temporary function myconcat as 'udf.MyConcatString';
   create temporary function checksal as 'udf.CheckSalaryGrade';

4、数据分析引擎:Pig也有自定义函数(三种)
(1)自定义的过滤函数:相当于where条件
(2)自定义的运算函数
(3)自定义的加载函数(最麻烦)

你可能感兴趣的:(大数据Hadoop)