Spark解决数据倾斜的方法

Spark共享变量

计数器 和 广播变量是Spark提供的两个共享变量，提供给不同结点上的RDD函数使用

• 计数器

一个只能增加，用于计数和求和的变量

创建方法是SparkContext.accumulator(v, name)，其中v是初始值，name是名称

 

• 广播变量

一个只读变量，spark把该变量在所有结点上都缓存一份

创建方法是SparkContext.broadcast(变量)

 

Spark数据倾斜的问题

以统计文件中单词频次为例，单词作为Key，频次作为Value。有单词占用1G空间，有单词占用1K空间，单词出现频次不同，该单词占用内存空间也不等，处理效率也不同。这种现象称为数据倾斜。

分而治之的解决思想

对Key加随机数，两次分组可以解决数据倾斜问题

 

实现方法：

 

输出结果

  

 

Map Side Join

• 小表 和 大表 Join

小表作为广播变量，分布式集群中每台结点缓存一份。大表根据外键字段从缓存中取出对应数据

 

实现方法：

 

• 大表 和 大表JOIN

外键字段通过散列函数，分割成小表，小表之间做JOIN，最后结果合并