spark从入门到放弃十三:spark 三种提交模式

文章地址：http://www.haha174.top/article/details/257573
一.Standalone 模式基于spark自己的 Master-Worker 集群。
就是之前的 spark-submit 提交的方式这里不再详细叙述。如果不清楚可以看这篇文章 如果要切换成第二种，第三种模式。将之前的submit脚本添加上--master 参数 设置为yarn-cluster 或yarn-client 即可。如果没有设置就是Standalone 模式。
二.基于YARN的yarn-cluster 模式

这里写图片描述

1.当我们使用spark submit 提交到yarn-cluster .此时发送请求到 ResourceManager 。 请求启动applicationMaster。applicationMaster启动后会向ResourceManager 请求container，ResourceManager接受到这个请求后会分配一个container.

2.然后在某个NodeManager上启动ApplicationMaster.ApplicationMaster（相当于driver）启动后会去和ResourceManager进行通信请求container 。

3.此时ResourceManager 会给 ApplicationMaster 分配一定量的 container 去启动executer.然后ApplicationMaster去连接其他的NodeManager。来启动executer。然后executer 启动后向ApplicationMaster反向注册。

三.基于YARN的yarn-client 模式

这里写图片描述

1.当我们使用spark submit 提交到yarn-client .本地会启动一个driver进程同时发送请求到 ResourceManager 。 请求启动ExecutorLanucher。ExecutorLanucher启动后会向ResourceManager请求 container，ResourceManager接受到这个请求后会分配一个container.

2.然后在某个NodeManager上启动ExecutorLanucher(其实类似与上文中的ApplicationMaster，但是功能有限,不同点在1，3) .ExecutorLanucher启动后会去和ResourceManager进行通信请求container 。

3.此时ResourceManager 会给 ApplicationMaster 分配一定量的 container 去启动executer.然后ExecutorLanucher去连接其他的NodeManager。来启动executer。但是executer 启动后向spark 本地的driver进程反向注册。

总结：yarn-client 用于调试 driver 启动在本地。本地可以看到log 方便调试。
而且本地调度会产生大量的网卡流量。
yarn-cluster 一般用于生产。但是调试不方便。
使用yarn 需要在spark-env.sh 中添加Hadoop home
欢迎关注，更多福利

---

这里写图片描述