hadoop jar x.jar 执行过程

hadoop jar  x.jar  执行过程

 

Yarn框架执行内容

1，job.waitforcompletion() 启动 Runjar 进程  -> Resourcemanage申请一个job ->返回一个 job相关资源提交路径和jobID  

2，Runjar 向指定路径提交相关资源，并将提交结果返回给ResourceManage。

3，ResourceManage将Job加入到任务队列。NodeManage通过心跳机制领取相关任务。

4，NodeManage会为任务产生一个容器Container，这个容器包含资源（cpu，内存，磁盘I/O，网络等）；

5，启动mrappmaster。

MapReduce框架

1，mrAppmaster 注册到ResourceManage注册信息。返回相关资源所在那个节点。

2，在相关容器中启动Map任务进程被   称为YarnChild，mrAppmaster不断监控。

3，mrAppmaster启动ReduceTask  

4，mrAppmaster将运行信息返回给ResourceManage，注销自己，ResourceManage回收资源。 

 

mrAppmaster 和YarnChild 是动态产生的。

转载于:https://www.cnblogs.com/-xiangyang/p/10636846.html