Hive Sort Merge Bucket Map Join

测试：一个4000万和一个5000多万的表Join，关联键数据倾斜，并且笛卡尔积，效果明显。

 

#建立小表

 

create table lxw_test1(id int,name string,date_time string)
clustered by(id) sorted by(id) into 10 buckets;

#建立大表

 

 

create table lxw_test2(id int,name string,date_time string)
clustered by(id) sorted by(id) into 5 buckets;

 

 

注：两个表关联键为id，需要按id分桶并且做排序，小表的分桶数是大表分桶数的倍数。

#启用桶表

 

set hive.enforce.bucketing = true;

#往小表中插入4000万条记录

 

 

insert overwrite table lxw_test1
  select id,name,null
  from woa_all_user_info_his
  where pt = '2012-05-28'
  limit 40000000;

#往大表中插5000多万条记录(woa_all_user_info_his中有5000多万条记录)

insert overwrite table lxw_test2
 select id,name,date_time
 from woa_all_user_info_his
 where pt = '2012-05-28';

 

 

#设置Sort Merge Bucket Map Join的参数

 

set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;

注：此时的状况是Bucket columns==Join Columns==Sort Columns，完全具备具备使用Sort Merge Bucket Map Join的条件。

 

 

#查询

 

select /*+ mapjoin(b) */ count(1)
from lxw_test1 a
join lxw_test2 b
on a.id = b.id

 

 

测试结果：

包括insert数据，采用Sort Merge Bucket Map Join的方式耗时10分钟左右。

如果这两个表做普通的join，耗时1个多小时，还跑不完，最后只得Kill掉了！