分桶及抽样查询

一、分桶表数据存储
分桶针对的是数据的存储路径；分桶针对的是数据文件
分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。
1.先创建分桶表，通过直接导入数据文件的方式
(1)数据准备
student.txt
(2)创建分桶表
create table stu_buck(id int,name string)
clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t';
(3)查看表结构
desc formated stu_buck;
(4)导入数据到分桶表中
load data local inpath '/xx/xx/xx' into table stu_buck;
(5)在50070页面查询
发现并分成4个桶。是什么原因呢？
2.创建分桶表时，数据通过子查询的方式导入
(1)先建一个普通的stu表
create table stu(id int ,name string)
row format delimited fields terminated by '\t';
(2)向普通stu表中导入数据
load data local inpath '/xx/xx/xx' into table stu;
(3)清空stu_bucket表中数据
tructate table stu_buck;
select * from stu_buck;
(4)导入数据到分桶表，通过子查询的方式
insert into table stu_buck
select id, name from stu;
(5)通过50070页面还是发现只有一个桶
(6)需要设置一个属性
set hive.enforce.bucketing=true;
set mapreduce.job.reduces=1;
insert into table stu_buck select id,name from stu;
(7)查询分桶的数据
select * from stu_buck;
(8)50070页面查询
wonderful

二、抽样查询
对于非常大的数据集，有时用户需要使用的一个具有代表性的查询结果。Hive可以通过对表进行抽样来满足这个需求。
查询表stu_buck中的数据。
select * from stu_buck tablesample(bucket 1 out of 4 on id);
注意：tablesample是抽样语句，语法TTABLESAMPLE(BUCKET x OUT OF y).
其中y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。例如，table总共分了4份，当y=2时，抽样(4/2=)2个bucket的数据，当y=8时，抽取y=8时，抽取(4/8=)1/2个bucket的数据。
x表示从那个bucket开始抽取，如果需要去多个分区，以后的分区为当前分区加上y。例如，table总bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y。例如，table总bucket数为4，tablesample(bucket 1 out of 2)，表示总共抽取(4/2=)2个bucket的数据，抽取第1(x)个和第3(x+y)个bucket的数据。
注意:x的值必须要小于等于y的值。例如有Z个数据，(x out of y)则需要抽取Z/y个桶的数据，最后一个数据为x+(Z/y-1)y，化简得x+z-y由最后一个值小于总个数，则x+z-yy=2+(16/4-1)y=2+34=14由此可验证公式正确)