MapReduce 的体系结构

一 MapReduce体系结构特点
1 分布式编程架构
2 以数据为中心,更看重吞吐率
3 分而治之
4 Map将一个任务分解成多个子任务
5 Reduce将分解后多个子任务分别处理,并将结果汇总为最终结果

二 相关举例
1 清点图书馆藏书
2 统计单词出现次数
3 混合辣椒酱的生成过程

三 MapReduce体系结构
MapReduce 的体系结构_第1张图片

四 基本概念
1 作业(Job)
2 任务(Task)
3 键值对(key/value pair)
Map(),Reduce()函数的输入/输出都是的形式

五 生命周期
1 提交作业
在作业提交之前,需要对作业进行配置
程序代码,主要是自己编写的MapReduce程序
配置输入输出路径/输出是否压缩
配置完成后,通过Jobclient来提交

2 作业调度
FIFO调度器
公平调度器
容量调度器

3 任务分配
TaskTracker和JobTracker之间的通信与任务分配是通过心跳机制完成。
TaskTracker会主动向JobTracker询问是否有作业要做,如果自己可以做,那么就会申请到作业任务,这个任务可以使是Map任务也可以是Reduce任务

4 任务执行
拷贝代码到本地
拷贝任务的信息到本地
启动JVM运行任务

5 状态更新
任务在运行过程中,首先会将自己的状态汇报给TaskTracker,然后由TaskTracker汇总告知JobTracker
任务进度通过计数器来实现
JobTracker是在接受到最后一个任务运行完成后,才将作业标志为成功
作业成功后执行删除中间结果等善后处理工作

你可能感兴趣的:(Hadoop,MapReduce,体系结构)