Hive动态分区调整

关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据

插入到相应的分区中， Hive 中也提供了类似的机制，即动态分区 (Dynamic Partition) ，只不过，

使用 Hive 的动态分区，需要进行相应的配置

1 ）开启动态分区参数设置

（1）开启动态分区功能（默认 true ，开启）

hive.exec.dynamic.partition=true

（2）设置为非严格模式（动态分区的模式，默认 strict ，表示必须指定至少一个分区为

静态分区， nonstrict 模式表示允许所有的分区字段都可以使用动态分区。）

hive.exec.dynamic.partition.mode=nonstrict

（3）在所有执行 MR 的节点上，最大一共可以创建多少个动态分区。默认 1000

hive.exec.max.dynamic.partitions=1000

（4） 在每个执行 MR 的节点上，最大可以创建多少个动态分区。 该参数需要根据实际

的数据来设定。比如：源数据中包含了一年的数据，即 day 字段有 365 个值，那么该参数就

需要设置成大于 365 ，如果使用默认值 100 ，则会报错。

hive.exec.max.dynamic.partitions.pernode=100

（5）整个 MR Job 中，最大可以创建多少个 HDFS 文件。默认 100000

hive.exec.max.created.files=100000

（6）当有空分区生成时，是否抛出异常。一般不需要设置。默认 false

hive.error.on.empty.partition=false

2 ）案例实操

需求：将 dept 表中的数据按照地区（ loc 字段），插入到目标表 dept_partition 的相应

分区中。

（1）创建目标分区表

hive (default)> create table dept_partition_dy(id int, name string)

partitioned by (loc int) row format delimited fields terminated by '\t';

（2）设置动态分区

set hive.exec.dynamic.partition.mode = nonstrict;

hive (default)> insert into table dept_partition_dy partition(loc) select

deptno, dname, loc from dept;

（3）查看目标分区表的分区情况

hive (default)> show partitions dept_partition;

思考：目标分区表是如何匹配到分区字段的？

2 分桶表

分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理

的分区。对于一张表或者分区， Hive 可以进一步组织成桶，也就是更为细粒度的数据范围

划分。

分桶是将数据集分解成更容易管理的若干部分的另一个技术。

分区针对的是数据的存储路径；分桶针对的是数据文件。

1 ）先创建分桶表

（1）数据准备

（2）创建分桶表

（3）查看表结构

 

（4）导入数据到分桶表中， load 的方式

hive (default)> load data inpath '/student.txt' into table stu_buck;

（5）查看创建的分桶表中是否分成 4 个桶

 

 （6）查询分桶的数据

hive(default)> select * from stu_buck;

（7）分桶规则：

根据结果可知： Hive 的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方

式决定该条记录存放在哪个桶当中

2）分桶表操作需要注意的事项:

（1） reduce 的个数设置为 -1, 让 Job 自行决定需要用多少个 reduce 或者将 reduce 的个

数设置为大于等于分桶表的桶数

（2）从 hdfs 中 load 数据到分桶表中，避免本地文件找不到问题

（3）不要使用本地模式

3 ） insert 方式将数据导入分桶表

hive(default)>insert into table stu_buck select * from student_insert;

3 抽样查询

对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结

果。 Hive 可以通过对表进行抽样来满足这个需求。

语法 : TABLESAMPLE(BUCKET x OUT OF y)

查询表 stu_buck 中的数据。

hive (default)> select * from stu_buck tablesample(bucket 1 out of 4 on

id);

注意 ： x 的值必须小于等于 y 的值，否则

FAILED: SemanticException [Error 10061]: Numerator should not be bigger

than denominator in sample clause for table stu_buck