分区表创建及插入数据的操作

1、分区参数介绍

• hive.exec.dynamic.partition:是否启动动态分区。默认false。

• hive.exec.dynamic.partition.mode：打开动态分区后，动态分区的模式为strict和nonstrict。

  • strict可设置为静态和半动态，要求至少包含一个静态分区列。

  • nonstrict可设置为静态、半动态和动态，动态必须设置此参数。

• hive.exec.max.dynamic.partitions：允许的最大的动态分区的个数。默认1000。

• hive.exec.max.dynamic.partitions.pernode：一个mapreduce job所允许的最大的动态分区的个数。默认是100。

2、分区表的创建

#建表语句
create external table if not exists dws_cscd.dws_cscd_date_profit_total_asset_i_y(
index_abbreviation string,total_asset double, net_profit double)
partition(a_date)
row format delimited
fields terminated by ','
stored as textfile
location '/cscd/store/dws/date_profit_total_asset';

请注意，在分区里出现的字段不要在create语句里面出现

3、数据插入方式

（1）静态分区插入数据：

insert into table dws_cscd.dws_cscd_date_profit_total_asset_i_y partition(a_date='2023年')   
select index_abbreviation, a_date, total_asset, net_profit
from dwd_cscd.dwd_cscd_a_share_index_part_1_i_y;

（2）动静混合分区插入数据

set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=strick;
--set hive.exec.dynamic.partition.mode=nonstrick;
insert into table dws_cscd.dws_cscd_date_profit_total_asset_i_y partition(a_date='2023年')   
select index_abbreviation, a_date, total_asset, net_profit
from dwd_cscd.dwd_cscd_a_share_index_part_1_i_y;

注意：动静分区混合时，静态分区参数必须放置在前面。

（3）动态分区插入数据

set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrick;
insert into table dws_cscd.dws_cscd_date_profit_total_asset_i_y select index_abbreviation, a_date, total_asset, net_profit
from dwd_cscd.dwd_cscd_a_share_index_part_1_i_y;