数据倾斜问题

一、数据倾斜的原因：核心原因是reduce段数据分布不均匀，导致少量reduce子任务未完成

二、解决方案：
2.1调节参数hive.map.aggr = true 在map端部分聚合，相当于combiner
hive.groupby.skewindata = true ，数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MR JOB，map输出的结果集合会随机分不到reduce中，这样的结果是相同的group 毕业 key可能会分发到不同的reduce中，从而达到负载均很的目的
set hive.exec.reducers.max=200;

set mapred.reduce.tasks= 200;—增大Reduce个数

set hive.groupby.mapaggr.checkinterval=100000 ;–这个是group的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.groupby.skewindata=true; --如果是group by过程出现倾斜 应该设置为true

set hive.skewjoin.key=100000; --这个是join的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.optimize.skewjoin=true;–如果是join 过程出现倾斜 应该设置为true
2.2sql调节