大数据学习系列——HIVE学习分区

分区查询

1. Hive查询执行分区语法

SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08';

分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。

1. Hive查询表的分区信息语法：

SHOW PARTITIONS day_hour_table;

大数据学习群119599574
静态分区

1. Hive 在创建表时添加partition字段

a、单分区建表语句：

create table day_table (id int, content string) partitioned by (dt string);

单分区表，按天分区，在表结构中存在id，content，dt三列。

以dt为文件夹区分

b、 双分区建表语句：

create table day_hour_table (id int, content string) partitioned by (dt string, hour string);

双分区表，按天和小时分区，在表结构中新增加了dt和hour两列。

先以dt为文件夹，再以hour子文件夹区分

1. Hive在表创建后添加分区表语法

ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCATION 'location1'] partition_spec [LOCATION 'location2'] ...;

partition_spec:

: (partition_column = partition_col_value, partition_column = partition_col_value, ...)

例：

ALTER TABLE day_table ADD PARTITION (dt='2008-08-08', hour='08')

1. Hive删除分区语法：
2. 用户可以用 ALTER TABLE DROP PARTITION 来删除分区。

内部表中、对应分区的元数据和数据将被一并删除。

例：

ALTER TABLE day_hour_table DROP PARTITION (dt='2008-08-08', hour='09');

1. Hive向指定分区添加数据语法
2. LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]
3. 例：

LOAD DATA INPATH '/user/pv.txt' INTO TABLE day_hour_table PARTITION(dt='2008-08- 08', hour='08');

LOAD DATA local INPATH '/user/hua/*' INTO TABLE day_hour partition(dt='2010-07- 07');

当数据被加载至表中时，不会对数据进行任何转换。Load操作只是将数据复制至Hive表对应的位置。数据加载时在表下自动创建一个目录

动态分区

1. 开启支持动态分区

• set hive.exec.dynamic.partition=true;

默认：false

• set hive.exec.dynamic.partition.mode=nostrict;

默认：strict（至少有一个分区列是静态分区）

相关参数

• set hive.exec.max.dynamic.partitions.pernode;

每一个执行mr节点上，允许创建的动态分区的最大数量(100)

• set hive.exec.max.dynamic.partitions;

所有执行mr节点上，允许创建的所有动态分区的最大数量(1000)

• set hive.exec.max.created.files;

所有的mr job允许创建的文件的最大数量(100000)