三、Hadoop核心MapReduce

1、基本概念:分而治之

Job&Task

JobTacker

TaskTracker

一个job会被拆成多个task,会有maptask和reducetask

mapreduce作业执行过程

MapReduce容错机制

1、重复执行   4次

2、推测执行:有一个TaskTracker执行很慢,会推测遇到问题,并且重新开启一个TaskTracker来执行同样的任务,谁先完成则关闭另外一个。


2、yarn--资源管理器

ResourceMangager

                分配调度资源

                启动并监控ApplicationMaster

                监控NodeManager

ApplicationMaster

                为MR类型的程序申请资源,并分配给内部任务

                负责数据切分

                监控任务的执行及容错                

NodeManager

                管理单个节点的资源

                处理来自ResourceManager的命令

                处理来自ApplicationMaster的命令           

你可能感兴趣的:(三、Hadoop核心MapReduce)