【Hive】数据抽样

数据抽样的常用三种方法

1、随机抽样（rand()函数）

• 方法一:order by 与 rand 函数结合
• 方法二:distribute 和 sort 与 rand 函数结合

2、数据块抽样（tablesample()函数）

• 方法一:百分比(percent)
• 方法二:大小(m)
• 方法三:行数(rows)
• 方法四:分桶抽样

1、随机抽样（rand()函数）

方法一:order by 与 rand 函数结合

limit关键字限制抽样返回的数据
案例:order by 全局排序耗时长

select * from table_name order by rand() limit 100;

方法二:distribute 和 sort 与 rand 函数结合

limit关键字限制抽样返回的数据
案例:rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的

select * from table_name where datekey='2020-11-26' 
distribute by rand() sort by rand() limit 100;

2、数据块抽样（tablesample()函数）

方法一:百分比(percent)

• 语法：tablesample(n percent)
• 功能：根据 hive 表数据的大小按比例抽取数据。如：抽取原 hive 表中 10%的数据
• 案例：

select * from table_name tablesample(10 percent);
select * from table_name tablesample(10 percent) where month =202202;

方法二:大小(m)

• 语法：tablesample(n M)
• 功能：指定抽样数据的大小，单位为 M。
• 案例：

select * from table_name tablesample(1M);

方法三:行数(rows)

• 语法：tablesample(n rows)
• 功能：指定抽样数据的行数，其中 n 代表每个 map 任务均取 n 行数据，map 数量可通过 hive 表的简单查询语句确认（关键词：number of mappers: x)
• 案例：
  不指定where条件,用时374ms

  select * from table_name tablesample(5 rows) ;

指定where条件,用时36s,而且可以看出是tablesample函数是在where条件之前生效的~

select * from table_name tablesample(5 rows) where gender='F';

方法四:分桶抽样

hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table_1按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。创建分桶表的关键语句为：CLUSTER BY语句。
分桶抽样语法：

• 语法：TABLESAMPLE (BUCKET x OUT OF y [ON colname])
• 功能：分桶抽样,其中 x 是要抽样的桶编号，桶编号从 1 开始，colname 表示抽样的列，y 表示桶的数量。
• 案例：

select * from table_name tablesample(bucket 1 out of 10 on rand());