解决Hive和Spark数据倾斜

一、Hive数据倾斜

一般都发生在Sql中group by和join on上

1.不同数据类型关联产生数据倾斜

例如：两个表进行关联，其中一个字段类型是int一个是String

解决：把数字类型转换成字符串类型

2.空值分布：经常有大量的空值数据进入到一个reduce中导致数据倾斜

解决：自定义分区，将为空的key转变为字符串+随机数，将因为空值造成的数据倾斜数据分不到不同的reducer中（如果一下特殊异常值不需要可以直接where过滤掉）

3.group by代替distinct

4.开启mapjoin

5.开启负载均衡：先随机分发处理再按照key group by来分发处理

6.设置多个reduce数量，默认为1

---

二、Spark数据倾斜

• Executor lost，OOM，Shuffle过程出错
• Driver OOM
• 单个Executor执行时间特别久 整体任务卡住
• 正常运行的任务突然失败

1.快速定位到导致数据倾斜的代码

Spark数据倾斜只会发生在shuffle过程中

触发shuffle的算子有：distinct/groupByKey/reduceByKey/aggregateByKey/join/repatition/cogroup等

（出现数据倾斜可能就是使用了这些算子其中的某一个导致的）

1.1某个task执行的特别慢

首先看数据倾斜发生在第几个stage中：

1）yarn-cluster模式：通过Spark Web UI（4040）来查看当前运行到了第几个stage

2）yarn-client模式：通过在提交的机器本地是直接可以看到log，在log中查看运行情况

查看什么：

1）task运行时间，有的task几秒钟运行完有的task几分钟才运行完

2）task数据量，运行时间短的task处理处理几kb的数据，运行时间久的处理几千kb，数据量差值大

1.2查看导致数据倾斜的key分布情况：

可以pairs采样10%的样本数据使用countByKey算子统计出每个key的出现次数。

2.解决方案

1.频繁使用hive表，本身数据不均匀，某个key对应100万，某个key对应10条

可以通过hive进行预处理或预先和其他表进行join，避免了shuffle类算子（治标不治本）

2.导致数据倾斜的key就几个，99%的key对应10条数据，但是只有一个key对应100万

where子句过滤掉这些key或者使用fillter算子（使用场景不多）

3.提升shuffle并行度，默认200，缩短task执行时间（能够缓解不能根除）

4.聚合类的shuffle算子或在sparksql中使用group by语句进行分组的（聚合类）

局部聚合+全局聚合，两次mr，每个key+随机值，进行局部聚合，去掉key前缀进行全局聚合

5.对rdd使用join类操作或spark sql中使用join（rdd或表的数据比较小）

小表join大表 规避shuffle

不适用join算子进行连接操作，使用广播变量与map类算子实现join，规避掉shuffle类操作，小表进行广播（常用最优方案）

6.两个rdd或表join时数据量都比较大，其中一个因为rdd/表中的少数几个key数据量过大，而另一个分布都比较均匀

通过simple算子采样研究计算数据量最大的是哪几个key，将这几个key对应的数据从原rdd中拆分出来形成单独rdd并给每个key+随机数前缀打散成n份去进行join，此时这几个key对应的数据不会集中在少数几个task上而是分散到多个task进行join了

7.进行join操作时RDD中有大量的key导致数据倾斜进行拆分key也没意义

打散大表 扩容小表

使用随机前缀+扩容rdd进行join（缓解数据倾斜对内存要求高）

总结：如果只是处理简单的小场景使用上述方法基本可以解决，如果复杂问题建议多种组合一起使用！