Hive SQL 优化
要想做好hive优化，首先要理解MR过程，HiveSQL转换为MR的过程，以及Hive表的分区分桶机制。
本质上的优化是，减少读，避免shuffle 和 增加并发度。
优化的手段：
| 跳过不必要的读 | 减少Shuffle | 读延迟问题 | 数据倾斜 |
|---|---|---|---|
| Partition、Bucket 使用 Skew（hive对声明了Skew的列会单独使用文件存储，并且在资源分配上有优待） | MapJoin（Broadcast Join），避免ReduceJoin | 增加热数据备份数 | 对于倾斜部分单独拿出来，做Map Join |
| ORCFile => 支持只读需要的列 | Sort-Merge-Bucket Join | 启动短路读（Short-Circuit Read），即不通过网络客户端，而是直接读取本地文件 | 将倾斜Key绑定一个随机数R，先按key、R做一次Shuffle，聚合减少数据量，然后再按Key做Shuffle聚合。 |
| 使用Tez |
Shuffle Sort/ Map Reduce 原理理解
Map Shuffle 过程：
（1）读取block，并切分为多个split，每个split对应一个map task。
（2）按Key 进行 Partition，内存排序，排序结果放入缓存，缓存不够发生溢写。
（3）溢写文件和内存中数据最终归并排序输出Map的结果，最后合并成了一个已分区且已排序的文件。
Reduce Shuffle 过程：
（1）Reduce Task 通过Copy方式，拉取Map task输出的文件，每次传输来的数据都是有序的。
（2）拉取的数据写缓存，缓存不够造成溢写。
（3）每个Ruduce任务，会直接将各个溢写的文件归并排序的结果作为输入，产出reudce的结果。
Hive SQL To Mapreduce 过程(感谢美团团队整理)
Join的实现原理
使用Join 关联的字段作为Key，并为Value打上不同的表来源标识。
在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下 （这里只是说明最基本的Join的实现，还有其他的实现方式）
Group By的实现原理
Group By 的字段组合作为Key，并且Map端预聚合
select rank, isonline, count(*) from city group by rank, isonline; 将GroupBy的字段组合为map的输出key值，利用MapReduce的排序，在reduce阶段保存LastKey区分不同的 key。MapReduce的过程如下（当然这里只是说明Reduce端的非Hash聚合过程）
Distinct的实现原理
单个distinct，使用group字段和distinct字段作为排序Key，Group字段作为分区Key，在Reduce阶段保存LastKey（因为排序后每组是按key有序的，因此只需使用一个LastKey作为去重字段）
select dealid, count(distinct uid) num from order group by dealid;
当只有一个distinct字段时，如果不考虑Map阶段的Hash GroupBy，只需要将GroupBy字段和Distinct字段组合为 map输出key，利用mapreduce的排序，同时将GroupBy字段作为reduce的key，在reduce阶段保存LastKey即可完成去 重
如果有多个distinct字段呢，如下面的SQL select dealid, count(distinct uid), count(distinct date) from order group by dealid;
实现方式有两种：
（1）和单个Distinct相同，但是内存阶段通过Hash去重。
如果仍然按照上面一个distinct字段的方法，即下图这种实现方式，无法跟据uid和date分别排序，也就无法 通过LastKey去重，仍然需要在reduce阶段在内存中通过Hash去重
（2）对所有的distinct字段编号，每行数据生成n行数据，按单个distinct进行处理。
第二种实现方式，可以对所有的distinct字段编号，每行数据生成n行数据，那么相同字段就会分别排序，这 时只需要在reduce阶段记录LastKey即可去重。 这种实现方式很好的利用了MapReduce的排序，节省了reduce阶段去重的内存消耗，但是缺点是增加了shuffle的数 据量。 需要注意的是，在生成reduce value时，除第一个distinct字段所在行需要保留value值，其余distinct数据行 value字段均可为空。
理解 查询语句中 Cluster By，Distribute By，Sort By 和 Order By
Cluster By col ＝ 按 col 列 Distribute By + Sort By。
Distribut By col1 和 Sort By col2 通常联合使用，是指的按col1 Partition 并且 按 col2 组内排序。
Order By 是指的全局有序，只有一个Reducer。
理解 建表语句中的Clustered By 、Sorted By 和 Skewed By
Clustered by 是插入数据是按某些列进行分Bucket（文件级别），而Sorted By 是按某些列全局排序，并分桶。
Skewed By 是对倾斜列做特殊处理，单独文件存储。
HIve 优化的方向
| 跳过不必要的读 | 减少Shuffle | 读延迟问题 |
|---|---|---|
| Partition、Bucket 使用 Skew（hive对声明了Skew的列会单独使用文件存储，并且在资源分配上有优待） | MapJoin（Broadcast Join），避免ReduceJoin | 增加热数据备份数 |
| ORCFile => 支持只读需要的列 | Sort-Merge-Bucket Join | 启动短路读（Short-Circuit Read） |
| 使用Tez |
Map Side Join
MapJoin简单说就是在Map阶段将小表读入内存，顺序扫描大表完成Join。
MapJoin简单说就是在Map阶段将小表读入内存，顺序扫描大表完成Join。 上图是Hive MapJoin的原理图，出自Facebook工程师Liyin Tang的一篇介绍Join优化的slice，从图中可以看出 MapJoin分为两个阶段： 1. 通过MapReduce Local Task，将小表读入内存，生成HashTableFiles上传至Distributed Cache中，这里会对 HashTableFiles进行压缩。 2. MapReduce Job在Map阶段，每个Mapper从Distributed Cache读取HashTableFiles到内存中，顺序扫描大表，在Map 阶段直接进行Join，将数据传递给下一个MapReduce任务
SET hive.auto.convert.join=true;
SET hive.mapjoin.smalltable.filesize = 20000000
Select /*+ mapjoin(tablelist) */
Bucket mapjoin
1） set hive.optimize.bucketmapjoin = true;
2） 一个表的bucket数是另一个表bucket数的整数倍：即一个大表，一个小表
3） bucket列 == join列
4） 必须是应用在map join的场景中
在这种情况下，大表和小表都是按Key分桶的，且大表的桶数是小标的n倍，这样，就可以n个大表桶，对应1个小表桶，将1个小表桶做广播到n个大表桶，做Map Side Join。
SMB join （针对bucket mapjoin 的一种优化）
1）
set hive.auto.convert.sortmerge.join=true;
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set hive.auto.convert.sortmerge.join.noconditionaltask=true;
set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputF ormat;
2） 小表的bucket数=大表bucket数
3） Bucket 列 == Join 列 == sort 列
4） 必须是应用在bucket mapjoin 的场景中
在这种情况下，桶数相同，且每桶的key都是排序的，因此在读入Mapper时，相同的Key一定出现在同一个Map中，相当于Shuffle sort之后的Reudce过程，可以做Map Side Join。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yhyQx3tY-1591253004454)(http://cdn.rabbitai.cn/hive/13.png)]
Skew（倾斜） 优化
数据倾斜的核心思想，是在Map Shuffle阶段，就统计出需要单独做Map Join 的Key，把倾斜的部分拿出来，单独做Map Side Join，不走reduce Shuffle。
select A.id from A join B on A.id = B.id
-- 转化为，倾斜部分和非倾斜部分
select A.id from A join B on A.id = B.id where A.id <> 1;
select A.id from A join B on A.id = B.id where A.id = 1 and B.id = 1;
-- 如果建表语句元数据中指定了skew key，则使用set hive.optimize.skewjoin.compiletime=true开启skew join。
CREATE TABLE list_bucket_single (key STRING, value STRING) SKEWED BY (key)
ON (1,5,6);
-- 在运行时动态指定数据进行skewjoin，一般和hive.skewjoin.key参数一起使用
set hive.optimize.skewjoin = true;
set hive.skewjoin.key =100000
-- 以上参数表示当记录条数超过100000时采用skewjoin操作
### group by 倾斜优化
对于确定的倾斜值，先均匀分布到各个reducer上，然后开启新一轮reducer进行统计操作。写法如下
-- 正常写法
select key
, count(1) as cnt
from tb_name
group by key;
-- 改进后写法
select a.key
, sum(cnt) as cnt
from (select key
, if(key = 'key001',random(),0)
, count(1) as cnt
from tb_name
group by key,
if(key = 'key001',random(),0)
) t
group by t.key;
如果在不确定倾斜值的情况下，可以设置hive.groupby.skewindata参数,其原理和上述写法调整中类似，是先对key值进行均匀分布，然后开启新一轮reducer求值
set hive.groupby.skewindata=true;
select key
, count(1) as cnt
from tb_name
group by key;
参考：
Antlr: http://www.antlr.org/
Wiki Antlr介绍: http://en.wikipedia.org/wiki/ANTLR
Hive Wiki: https://cwiki.apache.org/confluence/display/Hive/Home
HiveSQL编译过程: http://www.slideshare.net/recruitcojp/internal-hive
Join Optimization in Hive: Join Strategies in Hive from the 2011 Hadoop Summit (Liyin Tang, Namit Jain) Hive Design Docs: https://cwiki.apache.org/confluence/display/Hive/DesignDocs