Hadoop总结篇之五---模块间是怎么驱动执行的

在MRv1中，各个模块间驱动运行的方式是函数调用的方式。这是同步的过程，上一模块调用下一模块函数后，等待其执行。效率不高。

在MRv2中做了改进，yarn基于事件驱动的并发模型。在详细介绍前，先看下图：

 

处理请求会作为事件进入系统，有中央异步调度器【AsyncDispatcher】传递给对应的事件调度器【Event Handler】。事件调度器再将该时间转发给另外的事件调度器或者交给一个带有有限状态机的事件处理器，其处理结果也以事件形式输出给中央异步调度器。

 

在yarn中，核心服务都是一个中央异步调度器。ResourceManager，NodeManager，MRAPPMaster等。

以MRAPPMaster为例，内部实现了中央异步调度器，

各种事件调度器是在中央调度其中定义、实现、注册。（在中央调度器初始化后，再new几个对象，各个对象都是一个特定定义的具体事件调度器，而这些事件调度器里，实现了最终的调度事件处理器的方法）

而TaskAttemptImpl、TaskImpl、JobImpl这一系列是事件处理器。