YARN学习笔记 ResourceManager部分
CompositeService 多个service封装，service定义了状态机状态改变的合法情况。
重要的方法是（子类需要实现的）：serviceStart,serviceInit,serviceStop
里面的服务有:
Dispatcher,ClientRMService,ApplicationMasterService,AplicationMasterLauncher,AdminService,ContainerAllocationExpire,NMLivenessMonitor,NodeListManager
Context每个服务对应有context。
子类定义serviceInit,ServiceStart,ServiceStop
继承的init,start,stop直接调用。
AbstractLivelinessMonitor父类，定义了monitor的一些基本操作。
这些服务的特点都是围绕dispatcher。
RMDispatcher有个register方法进行注册，将相应的Event以及对应的handler进行注册。
不出所料，里面很多服务都有queue，大多数都是异步完成。
Token之类的没有使用，暂时不用考虑。
Event Type Handler
RMAppEvent RMAppEventType ApplicationEventDispatcher
RMStateStoreAppEvent 同上，是子类
RMAppAttemptEvent RMAppAttemptEventType ApplicationAttemptEventDispatcher
SchdulerEventType SchedulerEventDispatcher
RMNodeStatusEvent
状态机
StateMachineFactory<OPERAND, STATE extends Enum<STATE>, EVENTTYPE extends Enum<EVENTTYPE>, EVENT>
通过状态机把所有的状态转变都建立好后，在状态改变后自动执行。
1、Dispatcher里面有个queue，将所有的请求。
每个注册到Dispatcher的类最后都能够获得一个dispatcher的handler，用于将Event传入到Dispatcher的queue中，有可能有一个，也可能有多个handler，根据注册情况。
Dispatcher内部有个线程用于将queue中得Event根据注册的handler,dispatch到不同的类去处理。有些是同步有些是异步。
2、ResourceScheduler
3、ClientRMService
(1)实现的是ApllicationClientProtocol，完成的是client向Server(ResourceManager）的信息传输。
client submit一个job以后，提交到ClientRMService中，首先将该job,向RMAppManager submit这个job。
经过token，ACL验证。
然后交给Dispatcher进行处理，Event是RMAppEvent,Type的enum是RMAppEventType。
这个时候返回给Client端。
(2)生成一个RMApp类，代表一个application。向Dispatcher发送一个请求
RMAppEvent(applicationId, isRecovered ? RMAppEventType.RECOVER:
RMAppEventType.
START
));
这里面的EventType为RMAppEventType.START。RMAppEvent对应的Handler为ApplicationEventDispatcher。
RMStateStore指的是是否存储状态。
在RMAppImpl中，状态转变通过EventType确定。
(3)随后进入RMStateStore中，生成一个ApplicationState状态，内部处理，内部进行handle,储存相应的state信息，如果不是可以recovery的话就是只打log。
随后出发RMAppEvent type的event,该Event的type是RMAppEventType.APP_SAVED
(4)随后代码流程重新进入RMAppImpl中，根据type，状态机流转到从State NEW_SAVING到SUBMITTED,执行StartAPpAttemptTransition()
createNewAttempt(true);
(5)随后生成RMAppAttempt对象，根据id等等，把需要的参数加入。
随后进入RMAppAttemptImpl类的状态机，实现类是RMAppAttemptImpl
根据其状态机转变从RMAppAttemptState.NEW到RMAppAttemptState.SUBMITTED
transition类是AttemptStartedTransition类。
首先获取时间戳
进入ApplicationMasterService,该Service目的是沟通ApplicationMaster和ResourceManager。
registerAppAttempt注册该ApplicationAttempt。
然后进入scheduler阶段
(6)在Scheduler阶段，首先是APP_ADDED
先不管内部逻辑，随后又进入到RMAppAttemptImpl中得状态转变
(7)EventType是RMAppAttemptEventType.APP_ACCEPTED,执行的transition类为ScheduleTransition类
它的行为是将首先将RMAppimpl的状态从submit调整到APP_ACCEPTED，没有行为。
随后在scheduler中分配资源，返回一个allocate对象。
至此client结束任务，下一步的任务不需要client参与了。
当NodeManager向ResourceManager汇报心跳的时候，RM会找到需要分配的资源，通过scheduler的方法去分配。在AppSchedulable方法中的assighContainer将该container assign到node中。同时通知该node需要去launch得app。这步是rm 和 nm进行通信完成的，相当于rm向nm申请ApplicationMaster的Container。
NodeManager与ResourceManager通信
协议是ResourceTracker，实现类是ResourceTrackerService