3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

文章目录

  • Hadoop MapReduce(计算)
    • 一、理解MapReduce思想
    • 二、Hadoop MapReduce设计构思
      • (1)如何对付大数据处理场景
      • (2)构建抽象编程模型
      • (3)统一架构、隐藏底层细节
    • 三、Hadoop MapReduce介绍
      • 分布式计算概念
      • MapReduce介绍
      • MapReduce产生背景
      • MapReduce特点
      • MapReduce局限性:离线、静态
      • MapReduce实例进程
      • 阶段组成
      • MapReduce数据类型
    • 四、Hadoop MapReduce官方示例
      • 概述
      • 示例说明
      • 案例:评估圆周率π(PI)的值
      • 案例:wordcount单词词频统计
        • WordCount概述
        • WordCount编程实现思路
        • WordCount执行结果
    • 五、Map阶段执行流程
      • WordCount执行流程图
      • MapReduce整体执行流程图
      • Map阶段执行过程
    • 六、Reduce阶段执行流程
      • WordCount执行流程图
      • MapReduce整体执行流程图
      • Reduce阶段执行过程
    • 七、Shuffle机制
      • shuffle概念
      • Map端Shuffle
      • Reducer端shuffle
      • shuffle机制弊端

Hadoop MapReduce(计算)

一、理解MapReduce思想

  • MapReduce的思想核心是“先分再合,分而治之”。

  • 所谓“分而治之”就是把一个复杂的问题,按照一定的“分解”方法分为等价的规模较小的若干部分,然后逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最终结果

  • 这种思想来源于日常生活与工作时的经验。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想,而不是自己原创。
    3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce_第1张图片

  • Map表示第一阶段,负责“拆分”:即把复杂的任务分解为若干个“简单的子任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。

  • Reduce表示第二阶段,负责“合并”:即对map阶段的结果进行全局汇总。

  • 这两个阶段合起来正是MapReduce思想的体现。

  • 一个比较形象的语言解释MapReduce
    要数

你可能感兴趣的:(#,大数据Hadoop入门,mapreduce,hadoop,big,data)