Hive动态分区

Hive动态分区

  • 几个参数
    • set hive.exec.dynamic.partition=true //使用动态分区
    • set hive.exec.dynamic.partition.mode=nonstrick;//无限制模式,如果模式是strict,则必须有一个静态分区,且放在最前面
    • set hive.exec.max.dynamic.partitions.pernode=10000;//每个节点生成动态分区的最大个数
    • set hive.exec.max.dynamic.partitions=100000;//生成动态分区的最大个数
    • set hive.exec.max.created.files=150000;//一个任务最多可以创建的文件数目
    • set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数
  • 例子
create table d_part(name string) 
partitioned by (value string) 
row format delimited fields terminated by '\t'
lines terminated by '\n' stored as textfile
insert overwrite table d_part 
partition(value)
select name,addr as value from testxt

你可能感兴趣的:(Hive动态分区)