数据倾斜问题

Hadoop中mapReduce中数据倾斜和处理

什么是数据倾斜？

       简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。 

图一：数据倾斜出现的原因

 

如何解决：

         用两个mapReduce来解决这个问题。

   第一个mapReduce将数据中的同一数据进行拼接，比如：在单词或者数据后面拼接上一个整数（例如：hello-0，hello-1）。然后在map进入reduce阶段时候就会重新分组。这样同一个单词或者数据就不会聚集到同一个Reduce中，就不会出现数据倾斜的情况。第一个mapReduce输出的是：类似这样的结果（hello-0,5）(hello-1,6)...。

   第二个mapReduce再将第一个mapReduce的结果进行分组聚合，相当于简单的wordCount，不会再有数据倾斜的情况出现。