Hive-day07-分区表和分桶表

分区表实际上就是对应一个HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。 Hive 中的分区就是分目录 ，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

避免全表扫描，指定目录扫描。比如可以以天进行分区。一天一个分区。

创建文件，并引入数据

dept_ 20200401.log
dept_ 20200402.log
dept_ 20200403.log

10 ACCOUNTING 1700
20 RESEARCH 1800

30 SALES 1900
40 OPERATIONS 1700

50 TEST 2000
60 DEV 1900

创建分区表

hive (default)> create table dept_partition(
deptno int, dname string, loc string
partitioned by (day string)
row format delimited fields terminated by '\t';

加载数据

hive (default)> load data local inpath '/opt/hive/datas/dept_20200401.log' into table dept_partition partition(day='20200401');

hive (default)> load data local inpath '/opt/hive/datas/dept_ 20200402.log' into table dept_partition partition(day='20200402');

hive (default)> load data local inpath '/opt/hive/datas/dept_20200403.log' into table dept_partition partition(day='20200403');

hdfs内容，指定的分区分别都是命名的目录

分区表数据查询

单分区查询

hive (default)> select * from dept_partition where day='20200401';

多分区联合查询

hive (default)> select * from dept_partition where day='20200401' union select * from dept_partition where day='20200402' union select * from dept_partition where day='20200403';

hive (default)> select * from dept_partition where day='20200401' or day='20200402' or day= '20200403';

增加分区

创建单个分区

hive (default)> alter table dept_partition add partition(day='20200404');

同时创建多个分区

hive (default)> alter table dept partition add partition(day='20200405') partition(day='20 200406');

删除分区

删除单个分区

hive (default)> alter table dept_partition drop partition(day='20200406');

同时删除多个分区

hive (default)> alter table dept_partition drop partition(day='20200404'), partition(day ='20200405');

查看分区表有多少分区

hive> show partitions dept_partition;

查看分区表结构

hive> desc formatted dept_partition;

# Partition Information
# col_name data_type comment
  month    string

二级分区（如果一天的日志数据量也很大，如果再将数据拆分）

创建二级分区（按小时分区）

hive (default)> create table dept_partition2(
deptno int, dname string, loc string
)
partitioned by (day string,hour string)
row format delimited fields terminated by '\t';

加载二级分区的数据

加载数据到二级分区表中

hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table dept_partition2 partition(day='20200401',hour='12');

查询二级分区的数据

hive (default)> select * from dept_partition2 where day='20200401' and hour='12';

使HDFS数据与分区表产生联系的方式

这个的背景主要是，因为分区对应的是目录，如果此时自己使用hdfs的mkdir命令在分区目录下，创建一个文件夹，然后使用hdfs的put命令将数据文件放到新建的分区目录下，但是查看分区表结构的时候，是不会查询到这个目录里面的数据的，原因就是元数据里面没有该新建分分区目录信息。也就是说hfds数据并没有与分区表产生联系。

背景

在hdfs目录下创建文件夹

hive (default)> dfs -mkdir -p /user/hive/mydb.db/dept_partition2/day='20200401'/hour=13;

上传数据文件到hdfs的新建目录下

hive (default)> dfs -put /opt/module/datas/dept_20200401.log /user/hive/mydb.db/ dept_partition2/day=20200401/hour=13

查询数据，这个时候是查询不到刚上传的数据的

hive (default)> select * from dept_partition2 where day ='20200401' and hour='13';

这个时候有三种解决方法

1：执行修复命令

hive> msck repair table dept_partition2;

2：执行添加分区

hive (default)> alter table dept_partition2 add partition(day='20200401' hour='13');

3：创建文件夹后load数据到分区

hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into
table dept_partition2 partition(day='20200401',hour ='13');

如果使用load命令，加载数据不指定分区会出现什么情况？

新建的目录名字是day=HIVE_DEFAULT_PARTITION_

 

动态分区

关系型数据库中对分区表 Insert数据时候 数据库自动会根据分区字段的值将数据插入到相应的分区中Hive中也提供了类似的机制即动态分区，只不过使用 Hive的动态分区，需要进行相应的配置。

 开启设置

静态：insert into table dept_no_par partition(deptno='10') select dname,loc from dept;

动态：insert into table dept_no_par partition(deptno) select dname,loc,deptno from dept;

1：开启动态分区功能，默认为true,开启

hive.exec.dynamic.partition=true

2：设置非严格模式，动态分区的模式，默认为strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区。

hive.exec.dynamic.partition.mode=nonstrict

3：在所有执行mr的节点上，最大一共可以创建多少个动态分区，默认1000

hive.exec.max.dynamic.partitions=1000

4：在每个执行mr的节点上，最大可以创建多少个动态分区

hive.exec.max.dynamic.partitions.pernode=100

5：这个mr job中，最大可以创建多少个hdfs文件,默认100000

hive.exec.max.created.files=100000

6：当有空分区生成时，是否抛出异常，一般不需要设置，默认为false

hive.error.on.empty.partition=false

分桶表

1：新建student.txt文件，并放入准备数据

1001 ss1
1002 ss2
1003 ss3
1004 ss4
1005 ss5
1006 ss6
1007 ss7
1008 ss8
1009 ss9
1010 ss10
1011 ss11
1012 ss12
1013 ss13
1014 ss14
1015 ss15
1016 ss16

2：创建分桶表，并查看表结构

create table stu_buck(id int, name string)
clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t';

hive (default)> desc formatted stu_buck;
Num Buckets: 4

3：导入数据到分桶表中，load方式

hive (default)> load data inpath '/student.txt' into table stu_buck;

4：查看hdfs内容

 5：查看分桶的数据

hive default)> select * from stu_buck;

6：分桶的规则

Hive 的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

7：注意事项

1：reduce的个数设置为-1，让job自行决定需要用多少个reduce或者让reduce的个数设置为大于等于分桶表的桶数

2：从hdfs中load数据到分桶表中，避免本地文件找不到问题。

3：不要使用本地模式。

 8：抽样查询

语法: TABLESAMPLE(BUCKET x OUT OF y)，x的值必须小于等于y的值

查询stu_buck的数据

hive (default)> select * from stu_buck tablesample(bucket 1 out of 4 on id);

x的意思代表是从哪个桶开始找数据，y的意思是数据大概分为几等份，这个是范围，并不精确。