yarn作业执行流程

yarn作业执行流程

1、客户端向ResourceManager 发送运行job的请求,申请资源
2、ResourceManager 向客户端返回一个job_id以及共享资源的路径
  /tmp/hadoop-yarn/staging/hadoop/.staging/job_id
  共享资源包含三点信息
    1)jar 包 job.jar-
    2)切片信息
    3)job.xml
3、客户端将共享资源放置在共享资源路径下
4、客户端返回消息告知ResourceManager 已经成功放置共享资源,提交应用程序
5、ResourceManager 向客户端返回运行MRAppMaster的节点(比如nodemanger01)
6、ResourceManager 到nodemanager01先启动一个Container,然后启动MRAppMaster
7、MRAppMaster对job进行初始化,将job_id改为application_id,同时生成一个job的记录簿,记录MapTask或者ReduceTask的进度以及状态
8、为了获取MapTask个数和ReduceTask个数,需要MRAppMaster去下载共享资源到本地
9、MapTask
  1)MRAppMaster向ResourceManager 申请MapTask资源
  2)ResourceManager 向MRAppMaster返回相对应的MapTask资源节点(比如nodemanger02),MapTask节点优先原则是:数据本地化优先
  3)MRAppMaster到nodemanger02先启动一个Container,再启动MapTask
  4)MapTask运行一个应用程序需要数据、应用程序、资源
缺少应用程序,所以需要MRAppMaster去下载共享资源,主要是jar包和切片信息
  5)开始运行MapTask任务
  6)MapTask在运行过程中向MRAppMaster汇报自己的进度和状态
10、当MRAppMaster获取到一个节点上的所有MapTask都完成,准备启动ReduceTask
11、ReduceTask
  1)MRAppMaster向ResourceManager 申请ReduceTask资源
  2)ResourceManager 向MRAppMaster返回相对应的ReduceTask资源节点(比如nodemanger03),ReduceTask节点优先原则是:随机
  3)MRAppMaster到nodemanger03先启动一个Container,再启动ReduceTask
  4)ReduceTask运行一个应用程序需要数据、应用程序、资源
缺少应用程序,所以需要MRAppMaster去下载共享资源,主要是jar包和job配置信息
  5)所有的MapTask完成,所有的fetch完成,开始运行ReduceTask任务
  6)ReduceTask在运行过程中通过RPC协议向MRAppMaster汇报自己的进度和状态,是为了保证在运行失败的重新启动任务
12、当MapTask和ReduceTask都完成后,MRAppMaster到相对应的节点去进行资源回收
13、应用程序完成,MRAppMaster向ResourceManager注销并关闭自己

你可能感兴趣的:(hadoop)