Hive基础知识整理（1）

参考链接：视频教程
慕课网--走进Hive

一、数据仓库

数据仓库是一个面向主题的（有特定需求）、集成的（来自多个源）、不可更新的（只做查询操作）、随时间不变化的数据集合。它用于支持企业或组织的决策分析处理。

1、数据仓库的结构和建立过程：

数据仓库的结构和建立过程

2、OLTP && OLAP

OLTP:联机事务处理过程，面向事物，如银行转账系统
OLAP:联机事物分析，面向查询,如商品推荐系统

3、数据仓库中的数据模型：

星型模型——》雪花模型

星型模型

雪花模型

二、Hive

1、什么是Hive

(1) 建立在Hadoop HDFS上的数据仓库基础架构
(2) 可以用来进行ETL
(3) 定义了类似于SQL,成为HQL
(4) 允许MapReduce自定义

Hive是SQL解析引擎，将SQL——》M/R job

Hive的表其实就是HDFS的目录/文件

2、Hive的体系结构

hive体系结构

Hive的元数据：

Hive元数据

• Hive将元数据存储在数据库中（Metestore）,支持mysql、derby（默认）等
• Hive中的元数据包括表的名字、表的列、分区及其属性、表的属性等。

HQL的执行过程：

HQL执行过程

• 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询技术（plan）的生成。生成的查询技术存储在HDFS中，并随后有MapReduce调用执行。

3、Hive的安装

Hive依赖于Hadoop的安装

Hadoop的安装：
(1)单机环境
(2)伪分布式环境
(3)集群环境

Hive的安装模式：三种

(1)嵌入模式

• 元数据信息存储在Hive自带的derby数据库中
• 只允许创建一个链接
• 多用于做demo演示

(2)本地模式

• 元数据信息被存储在Mysql数据库中
• Mysql数据库和Hive运行在同一台物理机器上
  -多用于开发和测试

(3)远程模式

• Hive和MYsql运行在不同机器上，多用于生产环境
• 允许多个连接

4、Hive的启动方式：

(1) CLI命令行方式
(2) Web界面方式
默认端口号：9999
启动方式：

hive --service hwi &

通过浏览器来访问：http://：9999/hwi/
(3) 远程服务启动方式
端口号：10000
启动方式:

hive --service hwi &

5、Hive的数据类型

（1）基本数据类型

• tinyint/smallint/int/bigint:整数类型
• float/double:浮点数类型
• boolean:布尔类型
• string:字符串类型
  （2）复杂数据类型
• Array:数组类型。一系列相同数据类型的元素
• Map :key-value键值对
• struct:结构类型：可以包含不同数据类型的元素
  （3）时间类型
• Date 格式如YYYY-MM-DD
• TimeStamp 为自1970年起秒数
  注:在Hive中两者相互转换的函数：cast()

6、Hive的数据存储

(1)基于HDFS
(2)没有专门的数据存储格式
(3)存储结构主要包括：数据库、文件、表、试图
(4)可以直接加载文本文件(.txt)
(5)创建表时，可以指定Hive的列分隔符与行分隔符（默认无分隔符）

7、Hive的数据模型

(1)内部表（table）

• 与数据库中的table概念是类似的
• 每一个Table在Hive中都有一个相应的目录存储数据
• 所有的Table(不包括Txternal Tale)都保存在这个目录中
• 删除表时，元数据与数据都会被删除

例:

Create table T1
(Tid int,tname string,age int)

Create table T2
(Tid int,tname string,age int)
Location ‘/mytable/hive/t2’
--指定表存储位置

Create table T3
(Tid int,tname string,age int)
Row format delimited fields terminated by ‘,’
--指定行的分隔符是逗号

Create table T4
as
select * from sample_data
--创建表的同时创建数据，用查询语句创建数据，t4表内容与结构与表sample_data相同

Create table T5
Row format delimited fields terminated by ‘,’
as
select * from sample_data

Alter table T1 add columns(English int)
--T1表加了一列,改变表的结构

(2)分区表

• partition对应于数据库的Partion列的密集索引

• 在Hive中，表中的一个Partition对应于表下的一个目录，所有的partition的数据都存储在对应的目录中。

  
  
  分区表示意

例:

Create table Partion_table
(sid int,sname,string)
Partition by (gender string)
Row format delimited fields terminated by ‘,’
---创建分区表

Insert into table partition_table partition(gender=’F’)
Select sid,sname from sample_data where gender=’F’

分区表作用:在查询操作时，降低扫描次数，提高查询效率

如何知道查询效率提高,生成执行计划

explain select * from T where gender=‘M’

（3）外部表(extennal table)

• 执行已经在HDFS中存储的数据，可以创建Partition

• 他和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异

• 外部表只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个外部表时，仅仅删除该链接。
  

  外部表示意

例：

Create　external　table　external_student
(Tid int,tname string,age int)
Row format delimited fields terminated by ‘,’
Location ‘/input’

(4) 桶表(Bucket table)

• 桶表是对数据进行哈希取值，然后放到不同文件中存储。（把数据打散进行存储，避免造成”热块“）
  
  桶表示意

Create table bucket_table
(Tid int,tname string,age int)
clusterd 　by(sname)　into　５　buckets；
--根据sname字段进行哈希运算，放入５个桶中

(5) 视图（view）

• 是一个虚表，是一个逻辑概念
• 建立在已有表的基础上，试图赖以建立的这些表成为基表
• 视图可以简化复杂的查询

Create　View　empinfo
as
select　e.emptno,e.ename,e.sale,e.sale*12 annlsal d.dname
from emp e,dept d
where e.deptno=d.deptno

其他知识点：

静默模式：不显示map/reduce过程
命令行:

hive -S