数据倾斜

spark与hive的数据倾斜

Hive常见的数据倾斜：

(1)本身数据就有倾斜

(2)sql语句造成的数据倾斜

(3)join容易造成数据倾斜

(4)group by造成的数据倾斜

Hive数据倾斜解决方法：

(1)参数调节

(2)SQL语句调节

(3)对于group by或distinct，设定 hive.groupby.skewindata=true

(4)map join可以避免数据倾斜

spark中的数据倾斜：

1、Executor lost，OOM，Shuffle过程出错

2、Driver OOM

3、单个Executor执行时间特别久，整体任务卡在某个阶段不能结束

4、正常运行的任务突然失败

数据倾斜的原因：

[if !supportLists]1. [endif]我们以Spark和Hive的使用场景为例。他们在做数据运算的时候会设计到，countdistinct、group by、join等操作，这些都会触发Shuffle动作，一旦触发，所有相同key的值就会拉到一个或几个节点上，就容易发生单点问题。

[if !supportLists]2. [endif]Shuffle是一个能产生奇迹的地方，不管是在Spark还是Hadoop中，它们的作用都是至关重要的，因为数据分配不均匀导致的数据倾斜。

3.在Spark streaming程序中，数据倾斜更容易出现，特别是在程序中包含一些类似sql的join、group这种操作的时候。 因为Spark Streaming程序在运行的时候，我们一般不会分配特别多的内存，因此一旦在这个过程中出现一些数据倾斜，就十分容易造成OOM。