Spark的资源管理和调度模式

1.Spark-standalone

Standalone的模式下，spark的资源管理和调度是自己来管理和调度的，主要由master来管理。

2.Spark-yarn

ResourceManager

NodeManager

ApplicationMaster

Container(资源)

Task

 

Hadoop集群上面 Yarn执行任务的流程：

Client提交任务给resourceManager，resourceManager会选择一台机器开启一个container，在container里面开启一个applicationaster服务进程，applicationMaster进行任务的管理和调度，applicationMaster会向resourceManager申请资源，resourcemanager会在其他的机器上开启container进行资源分配。applicationMaster在resourcemanager分配的资源进行任务调度，在container里面运行task（map和 reduce）

 

Spark集群基于yarn的时候任务的执行流程：

（1）client模式

Client提交任务给resourceManager，在提交任务的时候，在提交任务的那台机器上面开启一个driver服务进程，resourcemanager在接收到client提交的任务以后，在集群中随机选择一台机器分配一个container，在该container里面开启一个applicationmaster服务进程，driver去找applicationmaster，applicationmaster去找resourcemanager申请资源，resourcemanager会分配container，在其中开启excuter，excuter会反向向driver注册，driver把task放入到excuter里面执行。

（2）Cluster模式

Spark集群会在集群中开启一个driver，此时开启就是applicationmaster和driver合二为一了。其他的都相同。

 

注：Standalone和yarn上运行的业务的执行流程都是相同的，只是资源的分配和管理的方式不一样了。

3.spark-Mesos

方式类似yarn