Spark 之 yarn-client模式 与 yarn-cluster模式 对比分析

目录

• 1、yarn-client 模式
• 2、yarn-cluster 模式
• 3、对比分析

1、yarn-client 模式

• 1、driver在本机启动
• 2、driver跟cluster manager申请资源，yarn-client，ResourceManager
• 3、RM分配一个container资源，在一个NM上，启动AM（ExecutorLauncher）
• 4、AM会找RM去申请资源，启动executor进程
• 5、RM会分配container给AM，然后AM会拿着container去找对应的NM，去启动executor进程
• 6、driver就可以给executor进程分配task，执行作业

2、yarn-cluster 模式

 

3、对比分析

在yarn-client 模式：，

1. driver运行在spark-submit提交的机器上，ApplicationMaster只是相当于一个ExecutorLauncher，仅仅负责申请启动executor；具体负责调度的，还是driver ；
2. driver所在机器可能跟yarn集群不在一起，所以性能可能比较差 ；
3. 用于在测试环境中，进行测试，方便你看日志 。

在yarn-cluster模式：

1. ApplicationMaster是driver；具体负责调度的，也是ApplicationMaster；
2. driver（AM）就在yarn集群中，进行复杂调度的时候，网络通信性能较好 ；
3. 推荐作业部署上线运行时使用，性能比较好。