spark 数据倾斜解决方案

1. 数据倾斜的原理

在执行shuffle操作的时候,按照key,来进行values的数据的输出、拉取、和聚合的,

同一个key的values,一定是分配到一个reduce task进行处理的。

多个key对应的values,总共有90万,但是问题是,可能某个key对应了88万条数据,key-88万values,分配到了一个task上面去执行,另外俩个task,可能各分配到了1万数据,可能是数百个key,对应1万条。

 

想象一下,出现数据倾斜以后的运行情况,很糟糕,

第一个和第二个task,各分配到了1万条数据,需要10分钟,计算完毕;第一个和第二个task,可能同时在10分钟内都运行完了,第三个task要88万条,需要880分钟=14.5个小时

本来另外俩个task很快就运行完毕了(10分钟),但是由于一个拖后腿的家伙,第三个task,要14.5个小时才能运行完,就导致整个spark作业,也得14.5个小时才能运行完,

导致spark作业,跑的特别特别慢

数据倾斜一旦出现简直就是性能杀手

2. 数据倾斜的现象

spark数据倾斜有俩种表现:

1. 你的大部分task,都执行的特别特别快,刷刷刷,就执行完毕了,(你要用client模式,standalone client,yarn client,本地机器主要一执行spark-submit脚本,就会开始打印log),

task175 finished;....

剩下几个task执行特别特别慢,前面的task,一般1s可以执行完5个,最后发现1000个task,998,99task,要执行1个小时,2个小时才能执行完毕,这是就是出现数据倾斜了,这种现象还算好,虽然慢,但是还能跑

2. 运行的时候,其他task都刷刷刷执行完了,也没特别问题,但是有的task,就是会突然间,怕,报了一个OOM,JVM Out Of Memory,内存溢出了,task failed,task lost,resubmitting task.反复执行几次都跑不懂,到了某个task就是跑不通,最后挂掉,

某个task就直接OOM,那么基本上也是因为数据倾斜了,task分配的数量是在是太大了!!!所以内存放不下,然后你的task每处理一条数据,还要创建大量的对象,内存爆掉了,出现数据倾斜了

这种就不太好,因为你的程序如果不去解决数据倾斜的问题,压根就跑不出来

3. 数据倾斜产生原因与定位

根据log去定位

出现数据倾斜的原因,基本只可能是因为发生了shuffle操作,在shuffle的过程中,出现了数据倾斜问题,因为某个,或者某些key对应的数据,远远的高于其他的key

 

1. 在自己程序里面找找,哪些地方会产生shuffle,groupByKey,countByKey,reduceByKey,join

2. 看log,log一般会报是在你的哪一行代码,导致了OOM异常,或者呢,看log,看看是执行到了第几个stage!!!通过stage来定位到代码哪里发生了数据倾斜

去找找代码那个地方,是哪个shuffle操作

你可能感兴趣的:(spark)