MapReduce on yarn 总结

1.客户端向resource manager申请运行application
2.resource返回给client一个jobid和资源的上传路径
3.客户端将资源上传到hdfs上（查看输入的目录文件并计算切片FileSplit[]，job对象的序列化xml，jar包）
4.客户端请求一个容器（多少g多少核）
5.resource manager将客户端的请求转化为一个task，放在任务队列（找到一个空闲的node manager）
6.node manager 领取任务 ， 创建容器生成am，combiner
7.客户端通过shell命令运行am
8.am向rm申请资源
9.rm将分配好的资源放到任务队列
10.nm领取任务 创建容器，在hdfs上（复制）资源
11.am通过shell命令开启maptask

一个maptask运行约80%的时候，reducetask就可以启动（之前一直是等待状态）

运行完成后，maptask被回收，但是产生的数据在本地，nm会记录下来。
先回收maptask 再回收reducetask ，最后am向rm注销自己