【Hive】Hive笔记：Hive调优总结——数据倾斜，join表连接优化

    数据倾斜即为数据在节点上分布不均，是常见的优化过程中常见的需要解决的问题。常见的Hive调优的方法：列剪裁、Map Join操作、 Group By操作、合并小文件。

 

一、表现

      1.任务进度长度为99%，在任务监控页面中发现只有几个 reduce 子任务未完成；

      2.单一 reduce 记录与平均记录数差异过大（大于3倍），最长时长＞＞平均时长；

      3.job数多的，效率低，多次关联后，产生几个jobs，起码半小时以上才跑完；

 

二、原因

      1.key分布不均；

      2.业务数据本身问题；

      3.建表有问题；

      4.sql语句本身数据倾斜；

数据倾斜问题：

关键词	情形	后果
join	1.小表与大表.其中一表较小，但key集中； 2.大表与大表，但分桶到判断字段0或空值过多；	分发到一个或几个reduce上数据远大于平均值；空值由一个reduce处理，很慢
group by	group by 维度过小，某值数量过多	处理某值的reduce很耗时，解决：用sum() group代替count (distinct)
count distinct	某特殊值过多	处理此特殊值reduce耗时

 

三、解决思路

         1.好的模型设计事半功倍；

         2.解决数据倾斜问题；

         3.减少job数；

          4.设置合理的map,reduce 的task 数，有效提升性能；

         5.自己动手写sql 可以解决数据倾斜；

         6.对sum, count不存在数据倾斜问题，自己写；

         7.对小文件合并；

         8.优化时把握整体，单个作业最优不一定整体最优。

（注：sql相关→(1)倾斜的数据用 map join，不倾斜的数据用 join；

                          (2) union join：把2个具有相同列的数据类型的结果放到一起显示，并且不去重；

                          (3)有几个列参与join就有几个job，不是看独立的语句(eg.select)有几个！）

 

四、解决方案

 4.1 参数调节

hive.map.aggr = true （map 端部分聚合，当于 combiner）

hive.groupby.skewindata = true （有数据倾斜时负载均衡）

 

4.2 sql语句调节

(1) 如何join：关于驱动表的选取，应选分布均匀的作为驱动表；做好列剪裁与 filter 操作，达到两表 join 时，数量变小的效果。

(2) 大小表join：使用map join，让小表先进内存，在 map 端完成reduce 。

(3) 大表 join 大表：把空值 null key变成字符串加上随机数，倾斜数据分到不同 reduce 上。

(4) groupby 维度过小：采用sum() group by 代替count (distinct) 完成计算。

 

五、典型案例

5.1. 空值产生的数据倾斜：userid为空的表去 join另一表

     方法一：为空的userid 不参与关联：select * from a join b on a.userid is not null and a.id = b.id

     方法二：赋空值分新的 key值，字符串加上随机数。（比方法一好，io少了，作业job也少了：方法一读取log 为2次，job为2；方法二读取的job 为1）

 

5.2 不同数据类型关联的数据倾斜：userid在2个表中，一个为 string，一个为 int

解决方法：把数值类型转化为 string。

eg. select *from a left join b on (a.id = cast(b.id as string))

 

5.3 小表 join 大表时，小表很大：一般 map join会有 bug

两个待连接表中，小表可以进内存（小表小于内存装得下），而大表很大。可以将小表复制多份，让每个Map Task 内存中存在一份（比如放到 hash table 中），然后只扫描大表。

对大表中每条记录 key-value，在 hash table中查找是否有相同的 key 记录，如果有，连接后输出即可。（不用 reducer，直接在 map端就可以完成 join）