MapReduce-hadoop-尚硅谷

第1章 MapReduce概述

1.3 MapReduce核心思想

1.4 MapReduce进程

1.6 常用数据序列化类型

1.7 MapReduce编程规范

用户编写的程序分成三个部分：Mapper、Reducer和Driver。

第3章 MapReduce框架原理

3.1 InputFormat数据输入

3.1.1 切片与MapTask并行度决定机制

切片数等于mapTak的并行度，及一个切片对应一个mapTask

多个文件单独切片

默认切片大小为128M与HDFS物理存储的black一样

3.2 MapReduce工作流程(面试重点)

默认每次读取文件中一行的数据处理

map阶段

Reduce阶段

3.3 Shuffle机制

3.3.1 Shuffle机制

Shuffle ： 数据洗牌

Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。如图4-14所示。

3.3.2 Partition分区

3.3.8 Combiner合并案例实操

3.4 MapTask工作机制

156
MapTask工作机制如图4-12所示。

3.5 ReduceTask工作机制

1．ReduceTask工作机制
ReduceTask工作机制，如图4-19所示。