job提交(yarn)过程

1.客户端将向resourcemanager上传jar包
2.resourcemanager将jobid,存储路径及相关信息告诉给客户端
3.客户端将相关资源上传到返回的路径上(HDFS上),上传完后返回resourcemanager上传成功,
4.resourcemanager将job拉近队列中(FIFO队列支持先进先出)等待nodemanager领取job(有三个调度器:容量调度器,资源调度器,公平调度器)
5.将任务分配给资源较多的节点,而节点接到任务后向resourcemanager申请container(container里下载了job.jar,job.xml,job.spilt,job.spiltinfo)然后将客户端发出命令启动Appmaster
6.Appmaster计算资源,像resourcemanager请求maptask的资源
7.resourcemanager分配资源(container),下载job.jar到container,Appmaster启动maptask(yarnchild)
8.maptask执行完毕,通知Appmaster,然后释放maptask资源,Appmaster向resourcemanager申请reducetask的资源
9.resourcemanager分配资源(container),下载job.jar到container,Appmaster启动reducetask(yarnchild)
10.reducetask执行完成后,通知Appmaster,然后释放reducetask资源,Appmaster通知resourcemanager,Appmaster释放资源
11.图解:
job提交(yarn)过程_第1张图片

你可能感兴趣的:(hadoop)