Apache Hadoop NextGen MapReduce(YARN)

2019独角兽企业重金招聘Python工程师标准>>>

读http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/YARN.html

一点理解。

MapReduce 从Hadoop-0.23版本做了很大的改动，后面的版本称为MapReduce 2.0(MRv2.0)或者YARN

把JobTracker, Resource management和job scheduling/monitoring功能分离了，所以从后面的版本没有了JobTracker，当时搭建环境时，看到网上的教程说有输入jps，就有JobTracker和TaskTracker了。结果傻傻地试了好几次，都失败了。

现在倒好了，把MapReduce分成了两部分：一个全局的ResourceManager（RM）和每个ApplicationMaster（AM）

ResourceManager就好像是一个老板，他有两个漂亮秘书，一个写策划书的(Scheduler)，一个去执行策划书的（ApplicationsManager）。

写策划的，得考虑每个人能力等因素来分配任务量，但是她才不管你是怎么做的。

执行策划的，他不能事必躬亲吧，所以她得让她的小弟们(ApplicationMaster)去做这些事，所以她得保证任务的成功，照顾到小弟的一些情况。

当然了，这样还不行。有人会说，谁来监督这些做事的小弟们，执行策划的说了不算吧，写策划的还有来自星星的你等着呢，所以还得第三方(NodeManager)来干这个事，他负责监视他们，然后把这些报告给老板。

转载于:https://my.oschina.net/swuly302/blog/204776