Hive分桶学习及分桶的应用场景如大表间的join操作

理论基础

1、概念：
    对于表或分区，进一步细分成桶。
    分桶方式：
        对列进行hash再对桶个数取模，确定记录入桶。

2、操作

普通表：
create table nor_tab(id int,name String,age int) row format delimited 
    fields terminated by '\t' 
    lines terminated by '\n';

加载数据：
load data local inpath '/root/b.txt' overwrite into table nor_tab;

桶表：
create table buc_tab(id int,name String,age int) clustered by (age) into 3 buckets
    row format delimited 
    fields terminated by '\t' 
    lines terminated by '\n';
    #####这儿和分区表不一样，分区表的分区字段不在建表字段中，而分桶字段在建表字段中。

往桶表插入数据：
insert into buc_tab  select id,name,age from nor_tab;

查看hdfs目录：
[root@Linux005 ~]# hdfs dfs -ls /user/hive_remote/warehouse/buc_tab
Found 3 items
-rwxr-xr-x   1 root supergroup         10 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000000_0
-rwxr-xr-x   1 root supergroup         11 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000001_0
-rwxr-xr-x   1 root supergroup         12 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000002_0


3、配置参数
    hive.enforce.bucketing
    该参数在hive 1.x版本中默认为false,即不支持分桶。而在hive 2.x中，该参数默认为true。
    mr运行时会根据桶的数量进行reduce task的数量。

4、分桶的作用
    A)获得更高的查询效率：全表查询或分区查询转换成桶查询
    B)大表join:
        对于两张大表的join，执行reduce join(shuffle join)肯定不合适，只能做map join。
        但是reduce join只适合做小表和大表的join,如何做大表间的join呢？
        此时可以对两张大表的连接字段分桶，此时的join是按照桶来的，一个桶一个桶join，这样就完美解决了。
        不过两个表的分桶数量上必须是倍数关系。确保对于连接条件的一致性。
        解释： 
            如果连接字段某一个值的hashcode为8，A表分4桶，B表分5桶，则该值在A表进入0号桶，在B表进入3号桶，此时join的连接条件就不一致了。
        要想在map端执行桶join,必须设置hive.optimize.bucketmapjoin= true。
        
    C)抽样查询
        传统抽样：
            select * from emp tablesample(10%);
        分桶抽样：
            select * from emp tablesample(bucket x out of y);
            解释：
                x:从x桶开始抽样查询
                y:抽样步长，必须是桶数的因子或者倍数。
            假设桶为n,则抽取的数据n/y个桶;