Xlearning Client 学习

Xlearning Client 学习

xlearning client 主要用于向ResourceManager 提交App。

xlearning的核心逻辑；Main方法执行过程如下：

开始
|
showWelcome
|
client 构建及初始化
|
client.submitAndMonitor()---
|                           |
| succ                      | fail
返回code 0                    返回code 2
|                           |
exit------------------------|       
|
结束      

上述过程核心方法有init和submitAndMonitor。 首先简单看一下init做的事情。创建yarnClient对象，并痛殴Client创建一个App对象。

Client#client.init()  初始化信息
    设置conf信息。
    创建YarnClient yarnClient = YarnClient.createYarnClient();yarnClient.init(conf);yarnClient.start();
    创建Application newAPP = yarnClient.createApplication();

接下来详细介绍submitAndMonitor。其主要执行过程如下：

1. 设置输入和输出 assignInput & assignOutput
2. 设置xlearningCacheFiles 和 xlearningCacheArchives
3. 申请拿到AppId
   3.1 GetNewApplicationResponse newAppResponse = newAPP.getNewApplicationResponse(); 获取Yarn返回的response，从而获取AppID
   applicationId = newAppResponse.getApplicationId();
4. 构建ApplicationSubmissionContext：applicationContext对象
   4.1 设置applicationContext 的 applicationId，applicationType,applicationName属性
   4.2 设置Resource。主要设置一个container所需要的memory和cpu
   4.3 设置AM运行container的环境ContainerLaunchContext对象。
   4.3.1 构建localResources对象 主要指本地资源
   4.3.2 构建appMasterEnv对象 主要指AM运行环境env
   4.3.3 构建appMasterLaunchcommands对象 主要指启动Am的cmd命令
   4.3.4 构建ContainerLaunchContext实例amContainer，传入参数localresources,appMasterEnv,appMasterLaunchcommands等参数。
   4.4 设置优先级priority
   4.5 设置队列queue
   4.6 设置最大尝试次数MaxAppAttempts
   4.7 设置尝试失败有效间隔AttemptFailuresValidityInterval
5. 通过yarnClient来提交App，传入参数applicationContext。并返回ApplicationId. 如果没有提交成功，不会返回id。
   5.1 如果提交成功，设置isRunning true
   5.2 提交未成功，设置false
6. 等待完成isApplicationSucceed = waitCompleted();
   6.1 根据applicationId，通过yarnClient获取applicationReport
   6.2 while循环
   可以根据applicationReport获取到YarnApplicationState和FinalApplicationStatus
   如果 YarnApplicationState 为finished 并且 FinalApplicationStatus 为succeed 返回 true
   如果 YarnApplicationState 为finished 并且 FinalApplicationStatus != succeed 返回 false
   如果 YarnApplicationState 为KILLED || failed 返回 false
   休眠一段时间，再次执行getApplicationReport() 获取报告
7. 返回结果isApplicationSucceed

上述过程中涉及一个类ApplicationReport。含义：is a report of an application. 具体属性见源代码。