hive

hive

1.简介
Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为
一张数据库表，并提供类 SQL 查询功能

本质是将 SQL 转换为 MapReduce 程序。

Hive的好处
直接使用 Hadoop MapReduce 处理数据所面临的问题：
人员学习成本太高
MapReduce 实现复杂查询逻辑开发难度太大

使用 Hive ：
操作接口采用类 SQL 语法，提供快速开发的能力
避免了去写 MapReduce，减少开发人员的学习成本
功能扩展很方便

Hive的使用只适用于分析，不适用与应用 比如使用它来作为页面展示数据的，这样就数据查询的时候显得非常的慢，很不好。

Hive的组件
用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line
interface)为 shell 命令行；JDBC/ODBC 是 Hive 的 JAVA 实现，与传统数据库
JDBC 类似；WebGUI 是通过浏览器访问 Hive。

元数据存储：通常是存储在关系数据库如 mysql/derby 中。Hive 将元数据
存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表
的属性（是否为外部表等），表的数据所在目录等。

解释器、编译器、优化器、执行器:完成 HQL 查询语句从词法分析、语法分
析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随
后有 MapReduce 调用执行

Hive 与 Hadoop 的关系
Hive 利用 HDFS(hadoop) 存储数据，利用 MapReduce 查询分析数据

Hive 与传统数据库对比
hive 用于海量数据的离线数据分析。
hive 具有 sql 数据库的外表，但应用场景完全不同，hive 只适合用来做批
量数据统计分析。

更直观的对比请看下面这幅图

Hive 数据模型
Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式
在创建表时指定数据中的分隔符，Hive 就可以映射成功，解析数据。
Hive 中包含以下数据模型：
db：在 hdfs 中表现为 hive.metastore.warehouse.dir 目录下一个文件夹
table：在 hdfs 中表现所属 db 目录下一个文件夹
external table：数据存放位置可以在 HDFS 任意指定路径
partition：在 hdfs 中表现为 table 目录下的子目录
bucket：在 hdfs 中表现为同一个表目录下根据 hash 散列之后的多个文件

Hive的安装可以看手册

Hive 基本操作

建表语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], …)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], …)]
[CLUSTERED BY (col_name, col_name, …)
[SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]

说明：
1、 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；
用户可以用 IF NOT EXISTS 选项来忽略这个异常。
2、 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据
的路径（LOCATION）。
Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，
仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的
元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
3、 LIKE 允许用户复制现有的表结构，但是不复制数据。
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name LIKE existing_table;

4.ROW FORMAT DELIMITED
[FIELDS TERMINATED BY char]
[COLLECTION ITEMS TERMINATED BY char] 集合 类型
[MAP KEYS TERMINATED BY char] map类型分割符
指定分割符

5. PARTITIONED BY
   在 hive Select 查询中一般会扫描整个表内容，会消耗很多时间做没必要的工
   作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了 partition 分区
   概念。
   分区表指的是在创建表时指定的 partition 的分区空间。一个表可以拥有一个
   或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。表和列名不
   区分大小写。分区是以字段的形式在表结构中存在，通过 describe table 命令可
   以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示。
   北京市昌平区建材城西路金燕龙办公楼一层 电话：400-618-9090
   6、 STORED AS SEQUENCEFILE|TEXTFILE|RCFILE
   如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，
   使用 STORED AS SEQUENCEFILE。
   TEXTFILE 是默认的文件格式，使用 DELIMITED 子句来读取分隔的文件。
   6、CLUSTERED BY INTO num_buckets BUCKETS
   对于每一个表（table）或者分，Hive 可以进一步组织成桶，也就是说桶是更为细
   粒度的数据范围划分。Hive 也是针对某一列进行桶的组织。Hive 采用对列值哈希，然
   后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。
   把表（或者分区）组织成桶（Bucket）有两个理由：
   （1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询
   时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，
   可以使用 Map 端连接 （Map-side join）高效的实现。比如 JOIN 操作。对于 JOIN 操
   作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶
   进行 JOIN 操作就可以，可以大大较少 JOIN 的数据量。
   （2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶
   段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便

修改表
增加分区：
ALTER TABLE table_name ADD PARTITION (dt=‘20170101’) location
‘/user/hadoop/warehouse/table_name/dt=20170101’; //一次添加一个分区
ALTER TABLE table_name ADD PARTITION (dt=‘2008-08-08’, country=‘us’) location
‘/path/to/us/part080808’ PARTITION (dt=‘2008-08-09’, country=‘us’) location
‘/path/to/us/part080809’; //一次添加多个分区
删除分区
ALTER TABLE table_name DROP IF EXISTS PARTITION (dt=‘2008-08-08’);
ALTER TABLE table_name DROP IF EXISTS PARTITION (dt=‘2008-08-08’, country=‘us’);
修改分区
ALTER TABLE table_name PARTITION (dt=‘2008-08-08’) RENAME TO PARTITION (dt=‘20080808’);
添加列
ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name STRING);
注：ADD 是代表新增一个字段，新增字段位置在所有列后面(partition 列前)
REPLACE 则是表示替换表中所有字段。
修改列
test_change (a int, b int, c int);
ALTER TABLE test_change CHANGE a a1 INT; //修改 a 字段名
// will change column a’s name to a1, a’s data type to string, and put it after column b. The new
table’s structure is: b int, a1 string, c int
ALTER TABLE test_change CHANGE a a1 STRING AFTER b;
// will change column b’s name to b1, and put it as the first column. The new table’s structure is:
b1 int, a ints, c int
ALTER TABLE test_change CHANGE b b1 INT FIRST;
表重命名
ALTER TABLE table_name RENAME TO new_table_name
显示命令
show tables;
显示当前数据库所有表
show databases |schemas;
显示所有数据库
show partitions table_name;
显示表分区信息，不是分区表执行报错
show functions;
显示当前版本 hive 支持的所有方法
desc extended table_name;
查看表信息
desc formatted table_name;
查看表信息（格式化美观）
describe database database_name;
查看数据库相关信息

DML 操作
DML(Data Manipulation Language)数据操纵语言：
适用范围：对数据库中的数据进行一些简单操作，如insert,delete,update,select等.
DDL(Data Definition Language)数据定义语言：
适用范围：对数据库中的某些对象(例如，database,table)进行管理，如Create,Alter和Drop.

Load
在将数据加载到表中时，Hive 不会进行任何转换。加载操作是将数据文件移动到与 Hive
表对应的位置的纯复制/移动操作。
语法结构
LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO
TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)]

说明：
1、 filepath
相对路径，例如：project/data1
绝对路径，例如：/user/hive/project/data1
完整 URI，例如：hdfs://namenode:9000/user/hive/project/data1
filepath 可以引用一个文件（在这种情况下，Hive 将文件移动到表中），或
者它可以是一个目录（在这种情况下，Hive 将把该目录中的所有文件移动到表中）。
2、 LOCAL
如果指定了 LOCAL， load 命令将在本地文件系统中查找文件路径。
load 命令会将 filepath 中的文件复制到目标文件系统中。目标文件系统由表
的位置属性决定。被复制的数据文件移动到表的数据对应的位置。
如果没有指定 LOCAL 关键字，如果 filepath 指向的是一个完整的 URI，hive
会直接使用这个 URI。 否则：如果没有指定 schema 或者 authority，Hive 会使
用在 hadoop 配置文件中定义的 schema 和 authority，fs.default.name 指定了
Namenode 的 URI。
3、 OVERWRITE
如果使用了 OVERWRITE 关键字，则目标表（或者分区）中的内容会被删除，
然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，
那么现有的文件会被新文件所替代

Insert
Hive 中 insert 主要是结合 select 查询语句使用，将查询结果插入到表中，例如：
insert overwrite table stu_buck
select * from student cluster by(Sno);
需要保证查询结果列的数目和需要插入数据表格的列数目一致.
如果查询出来的数据类型和插入表格对应的列数据类型不一致，将会进行转换，但
是不能保证转换一定成功，转换失败的数据将会为 NULL。
可以将一个表查询出来的数据插入到原表中, 结果相当于自我复制了一份数据。
Multi Inserts 多重插入:
from source_table
insert overwrite table tablename1 [partition (partcol1=val1,partclo2=val2)]
select_statement1
insert overwrite table tablename2 [partition (partcol1=val1,partclo2=val2)]
select_statement2…
Dynamic partition inserts 动态分区插入:
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] …)
select_statement FROM from_statement
动态分区是通过位置来对应分区值的。原始表 select 出来的值和输出 partition
的值的关系仅仅是通过位置来确定的，和名字并没有关系。
导出表数据
语法结构
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT … FROM …
multiple inserts:
FROM from_statement
INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
[INSERT OVERWRITE [LOCAL] DIRECTORY directory2 select_statement2] …
数据写入到文件系统时进行文本序列化，且每列用^A 来区分，\n 为换行符

Select
基本的 Select 操作
语法结构
SELECT [ALL | DISTINCT] select_expr, select_expr, …
FROM table_reference
JOIN table_other ON expr
[WHERE where_condition]
[GROUP BY col_list [HAVING condition]]
| [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]
]
[LIMIT number]
说明：
1、order by 会对输入做全局排序，因此只有一个 reducer，会导致当输入规模较大时，
需要较长的计算时间。
2、sort by 不是全局排序，其在数据进入 reducer 前完成排序。因此，如果用 sort by 进
行排序，并且设置 mapred.reduce.tasks>1，则 sort by 只保证每个 reducer 的输入有序，不保
证全局有序。

Hive 参数配置
Hive 命令行
输入$HIVE_HOME/bin/hive –H 或者 –help 可以显示帮助选项：
说明：
1、 -i 初始化 HQL 文件。
2、 -e 从命令行执行指定的 HQL
3、 -f 执行 HQL 脚本
4、 -v 输出执行的 HQL 语句到控制台
例如：
$HIVE_HOME/bin/hive -e ‘select * from tab1 a’
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
$HIVE_HOME/bin/hive -f hdfs://:/hive-script.sql
$HIVE_HOME/bin/hive -i /home/my/hive-init.sql
$HIVE_HOME/bin/hive -e ‘select a.col from tab1 a’
–hiveconf hive.exec.compress.output=true
–hiveconf mapred.reduce.tasks=32

Hive 参数大全：
https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
开发 Hive 应用时，不可避免地需要设定 Hive 的参数。设定 Hive 的参数可以调优 HQL 代
码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没
有起作用？这通常是错误的设定方式导致的。
对于一般参数，有以下三种设定方式：
配置文件 （全局有效）
命令行参数 （对 hive 启动实例有效）
参数声明 （对 hive 的连接 session 有效）

用户自定义配置文件：$HIV{E}_{C}ON{F}_{D}IR/hive-site.xml默认配置文件：$HIVE_CONF_DIR/hive-default.xml
用户自定义配置会覆盖默认配置。
另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的客户端启动的，
Hive 的配置会覆盖 Hadoop 的配置。
配置文件的设定对本机启动的所有 Hive 进程都有效。
命令行参数
启动 Hive（客户端或 Server 方式）时，可以在命令行添加-hiveconf 来设定参数
例如：bin/hive -hiveconf hive.root.logger=INFO,console
设定对本次启动的 Session（对于 Server 方式启动，则是所有请求的 Sessions）有效。
参数声明
可以在 HQL 中使用 SET 关键字设定参数，这一设定的作用域也是 session 级的。
比如：
set hive.exec.reducers.bytes.per.reducer= 每个 reduce task 的平均负载数据量
set hive.exec.reducers.max= 设置 reduce task 数量的上限
set mapreduce.job.reduces= 指定固定的 reduce task 数量
但是，这个参数在必要时<业务逻辑决定只能用一个 reduce task> hive 会忽略
上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数，命令行参数覆盖配
置文件设定。注意某些系统级的参数，例如 log4j 相关的设定，必须用前两种方式设定，因
为那些参数的读取在 Session 建立以前已经完成了

补充分区
分区表：
创建分区表
​ create table t_user_partition(id int, name string) partitioned by (country string) row format delimited fields terminated by “,”;
分区表数据导入
hadoop fs -put 不能导入分区表的数据
load data local inpath ‘/root/hivedata/china.txt’ into table t_user_partition partition(country =‘china’);
load data local inpath ‘/root/hivedata/usa.txt’ into table t_user_partition partition(country =‘usa’);
分区表的查询使用（根据分区标识 扫描指定的文件）
select * from t_user_partition where country=‘usa’;
总结：
分区表的出现时为了避免全局扫描表，提高查询效率
建表的时候根据数据的属性 自己指定分区的字段（标识，比如国家 日期 省份）
分区字段不是表中真实字段 虚拟字段（它的值只是分区的标识值）
create table t_user_partition2(id int, name string) partitioned by (name string) row format delimited fields terminated by “,”; 语法错误
分区的字段不能是表中已经存有的字段 否则编译出错
hive 中多分区
create table t_user_partition_duo(id int, name string) partitioned by (country string, province string) row format delimited fields terminated by “,”;
加载多分区数据，加载数据的时候指定分区即可
load data local inpath ‘/root/hivedata/china.txt’ into table t_user_partition_duo partition(country =‘china’,province=‘beijing’);
多分区查询
select * from t_user_partition_duo where country=“china”;
select * from t_user_partition_duo where country=“china” and province=“shanghai”;
hive 分桶表、分簇表
clustered by (col_name)into xx buckets
解释：根据指定的字段把数据文件分成几个部分
根据谁分---->clustered by (col_name)
分成几个部分—> xx buckets
如何分—>默认的分桶规则。
hashfunc(col_name),
如果col_name是int类型，hashfunc(col_name)= col_name % xx buckets 取模
如果是其他类型String ，hashfunc(col_name)=对col_name取哈希值 % xx buckets 取模
分桶表的创建

create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)
clustered by(Sno)
into 4 buckets
row format delimited
fields terminated by ‘,’;
分桶表的数据导入：
hadoop fs -put students.txt /user/hive/warehouse/itcast.db/stu_buck 错误 不能满足数据被分开
load data local inpath ‘/root/hivedata/students.txt’ into table stu_buck cluster(Sno); 错误 语法就没有
分桶表的真正导入 insert+select
insert into table t1 values(1,allen);
insert into table t1 select id,name from t2; 把select查询语句返回的结果作为数据插入的insert表中
首先需要开启分桶的功能

set hive.enforce.bucketing = true;
分为几桶需要指定
set mapreduce.job.reduces=4; ---->注意跟建表的时候分为几桶对应
分桶数据导入
创建中间临时表
insert overwrite table stu_buck select * from student cluster by(Sno);
首先创建student
create table student (Sno int,Sname string,Sex string,Sage int,Sdept string)row format delimitedfields terminated by ‘,’;
导入student 数据
hadoop fs -put students.txt /user/hive/warehouse/itcast.db/student
最终导入分桶表数据
insert overwrite table stu_buck select * from student cluster by(Sno);

​ 分桶表总结
分桶表是在文件的层面把数据划分的更加细致
分桶表定义需要指定根据那个字段分桶
分桶表分为几个桶最后自己设置的时候保持一致
分桶表的好处在于提高join查询效率 减少笛卡尔积（交叉相差）的数量
hive内外部表
内部表（MANAGED_TABLE）指的是 结构化数据要想映射成功，必须放在指定的数据库表所在的文件夹下面
/user/hive/warehouse
database—>/user/hive/warehouse/xxx.db
table--------->/user/hive/warehouse/xxx.db/tablename
数据----->/user/hive/warehouse/xxx.db/tablename/
外部表（EXTERNAL_TABLE）指的是结构化数据可以在HDFS任意位置 定义表的时候通过location指定具体的数据位置(值得是文件夹路径)
内部表删除 除了删除表的元数据还会把文件删除 外部表只删除表的元数据

hive load（针对内部表）
local 如果加local 表示数据来自于本地（hiveserver2服务运行所在机器的本地文件系统）
​ 如果不加local 表示数据在hdfs分布式文件系统的某个位置
非local
create table student_hdfs (Sno int,Sname string,Sex string,Sage int,Sdept string)row format delimitedfields terminated by ‘,’;------->内部表
数据在hdfs某个路径下
装载数据
load data inpath “/students.txt” into table student_hdfs;
如果数据存在于本地 load加载数据是纯复制操作
如果数据位于hdfs load加载数据就是移动操作

create table student_insert (Sname string,Sage int)row format delimitedfields terminated by ‘,’;
insert into student_insert select sname,sdept from student;

创建外部表
create EXTERNAL table test_02(id bigint, name string) row format delimited fields terminated by ‘,’;
外部表加载数据
hdfs dfs -put test_01 /test
load data inpath ‘/test/test_01’ into table test_02;