大数据(21)-skew-GroupBy

&&大数据学习&&

系列专栏： 哲学语录: 承认自己的无知，乃是开启智慧的大门
如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦

---

Skew-GroupBy优化是一种针对大数据处理的优化技术，它通过将数据分散到不同的MapReduce任务中来提高处理效率。以下是Skew-GroupBy优化的详细过程：

1. 启动两个MapReduce任务：第一个MapReduce任务按照随机数分区，将数据分散发送到Reduce阶段，完成部分聚合；第二个MapReduce任务按照分组字段分区，完成最终聚合。
2. 在第一个MapReduce任务中，数据被随机分配到不同的Map任务进行处理。这些Map任务将数据转换为键值对，并根据随机数进行分组。随机数的作用是使得相同键的值可能被分配到不同的Map任务中。
3. 第一个MapReduce任务的Reduce阶段接收到来自不同Map任务的键值对，并对键进行聚合。由于数据已经被随机分配到不同的Map任务中，因此相同的键可能会出现在不同的Map任务中。在Reduce阶段，这些来自不同Map任务的相同键的值将被聚合在一起。
4. 在第二个MapReduce任务中，数据被重新按照分组字段分区。相同的键值对将被分配到同一个Map任务中进行处理。
5. 第二个MapReduce任务的Reduce阶段接收到来自不同Map任务的键值对，并对键进行聚合。由于数据已经被重新按照分组字段分区，因此相同的键值对将被聚合在一起。
6. 最终的聚合结果将被输出到指定的输出目录中。

需要注意的是，Skew-GroupBy优化适用于数据倾斜的情况，即某些键具有更高的出现频率。通过将数据分散到不同的MapReduce任务中，可以避免单个任务处理大量数据的情况，从而提高处理效率。然而，Skew-GroupBy优化也需要额外的资源来启动两个MapReduce任务，因此在使用时需要根据具体情况进行权衡。