yarn过程详解

yarn过程详解_第1张图片

1.用户向YARN中提交应用程序,首先找到 ResourceManager,其为该应用程序分配一个Container,其中包含一个ApplicationsManager(应用程序管理器)。

2.ApplicationsManager找到一个NodeManager来启动一个ApplicationMaster。

3.ApplicationMaster首先向ResourceManager注册,然后向ResourceManager请求资源, ResourceManager为该应用程序分配启动程序所需资源。

4.ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务。

5.NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。

6. 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。

---在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。

7.应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。

你可能感兴趣的:(yarn过程详解)