Hive学习笔记 --- 动态分区与静态分区

一、简述动态分区与静态分区

• Dynamic Partition 动态分区：每次运行时是通过数据来自动判断生成，自动生成写入的分区内；

• Static Partition 静态分区：每次运行时是通过用户手动指定分区，然后数据写入指定的分区下面哪；

 

二、动态分区与静态分区使用的差异

CREATE TABLE table_dynamic_partition   

(  

    user_id int,  

    user_name STRING  

)  

PARTITIONED BY (dt STRING, ht STRING)  

ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t”

 

• Dynamic Partition 动态分区

使用表的动态分区是，我们需要设置参数如下：

set hive.exec.dynamic.partition=true;  

set hive.exec.dynamic.partition.mode=nonstrict;

 

我们在将table_dynamic_partition表的数据写入到一张新表 table_result_partition

insert overwrite table table_result_partition partition (dt, ht) select * from table_dynamic_partition where dt='2020-03-16’;  

 

• Static Partition 静态分区