大数据学习(16)-mapreduce详解

&&大数据学习&&

系列专栏： 哲学语录: 承认自己的无知，乃是开启智慧的大门
如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦

---

在MapReduce中，Map阶段和Reduce阶段分别执行以下任务：

1. Map阶段：Map阶段的任务是处理输入数据并生成一系列的键值对（key/value pairs）。Map函数会对每个输入数据执行操作，并将结果写入到一个本地磁盘上的临时文件中。Map阶段的任务是在每个单独的Map任务中完成的，这些Map任务是在Map阶段启动的。

在Hadoop MapReduce中，Map阶段的任务如下：

• 从HDFS中的文件读取数据。
• 将数据拆分成键值对。
• 对每个键值对执行Map函数，生成新的键值对。
• 将生成的键值对写入到本地磁盘上。

1. Reduce阶段：Reduce阶段的任务是处理Map阶段生成的键值对并生成最终的输出结果。Reduce函数会对每个键执行操作，并将结果写入到最终的输出文件中。Reduce阶段的任务是在每个单独的Reduce任务中完成的，这些Reduce任务是在Reduce阶段启动的。

在Hadoop MapReduce中，Reduce阶段的任务如下：

• 从本地磁盘上读取Map阶段的输出数据。
• 将数据合并成一个大文件。
• 对合并后的数据进行排序。
• 对排序后的键值对执行Reduce函数。
• 将输出的键值对写入到HDFS文件中。

在Hive中，当我们需要进行分组聚合操作时，通常会使用MapReduce框架来处理大规模的数据。传统的方法是在Map阶段将数据按照分组字段进行分区，然后将结果发送到Reduce阶段进行聚合运算。这种方法需要在Reduce阶段处理所有分组的 数据，因此当数据量很大时，Reduce阶段可能会成为瓶颈。

为了解决这个问题，Hive引入了map-side聚合的优化方法。在map-side聚合中，我们在Map阶段不仅仅只是将数据按照分组字段进行分区，而是利用一个hash table来维护每个分组的数据。在遍历数据的过程中，我们会对每个分组的数据进行部分的聚合运算，然后将聚合的结果存储在hash table中。

接下来，我们将聚合的结果按照分组字段进行分区，并将每个分区的结果发送到Reduce阶段。在Reduce阶段，我们只需要对每个分组的数据进行最终的聚合运算，这样就可以大大减少需要处理的数据量。因此，这种方法可以有效减少shuffle的数据量，提高分组聚合运算的效率。

启用map-side聚合的方法是设置hive.map.aggr=true参数。此外，还可以通过设置hive.map.aggr.hash.min.reduction参数来检测源表数据是否适合进行map-side聚合。这个参数用于指定当源表数据中具有相同分组字段值的行数小于某个阈值时，才适合使用map-side聚合。