Hive动态分区

Hive动态分区

• 几个参数
  • set hive.exec.dynamic.partition=true //使用动态分区
  • set hive.exec.dynamic.partition.mode=nonstrick;//无限制模式，如果模式是strict，则必须有一个静态分区，且放在最前面
  • set hive.exec.max.dynamic.partitions.pernode=10000;//每个节点生成动态分区的最大个数
  • set hive.exec.max.dynamic.partitions=100000;//生成动态分区的最大个数
  • set hive.exec.max.created.files=150000;//一个任务最多可以创建的文件数目
  • set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数
• 例子

create table d_part(name string) 
partitioned by (value string) 
row format delimited fields terminated by '\t'
lines terminated by '\n' stored as textfile

insert overwrite table d_part 
partition(value)
select name,addr as value from testxt