Spark:Yarn-client与Yarn-cluster

摘要

Spark有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-Cluster适用于生产环境，而Yarn-Client更适用于交互，调试模式。以下是它们的区别。

Spark插拨式资源管理

Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：
Master服务(Yarn ResourceManager，Mesos Master，Spark Driver)来决定哪些应用可以运行以及在哪什么时候运行。
Slave服务(Yarn NodeManger)运行在每个节点上，节点上实际运行着Executor进程，此外还监控着它们的运行状态以及资源的消耗。

Spark On Yarn的优势

1. Spark支持资源动态共享，运行于Yarn的框架都共享一个集中配置好的资源池；
2. 可以很方便的利用Yarn的资源调度特性来做分类·，隔离以及优先级控制负载，拥有更灵活的调度策略。
3. Yarn可以自由地选择executor数量。
4. Yarn是唯一支持Spark安全的集群管理器，使用Yarn，Spark可以运行于Kerberized Hadoop之上，在它们进程之间进行安全认证。

Yarn-cluster VS Yarn-client

当在Spark On Yarn模式下，每个Spark Executor作为一个Yarn container在运行，同时支持多个任务在同一个container中运行，极大地节省了任务的启动时间。

Appliaction Master

为了更好的理解这两种模式的区别先了解下Yarn的Application Master概念，在Yarn中，每个application都有一个Application Master进程，它是Appliaction启动的第一个容器，它负责从ResourceManager中申请资源，分配资源，同时通知NodeManager来为Application启动container，Application Master避免了需要一个活动的client来维持，启动Applicatin的client可以随时退出，而由Yarn管理的进程继续在集群中运行。

Yarn-cluster模式

在Yarn-cluster模式下，Driver运行在Appliaction Master上，Appliaction Master进程同时负责驱动Application和从Yarn中申请资源，该进程也是运行在Yarn的 Container内，所以启动Application Master的client可以立即关闭而不必持续到Application的生命周期，下图是yarn-cluster模式：

image

Yarn-cluster模式下作业执行流程：

1. 客户端生成作业信息提交给ResourceManager(RM)
2. RM在某一个NodeManager(由Yarn决定)启动container并将Application Master(AM)分配给该NodeManager(NM)
3. NM接收到RM的分配，启动Application Master并初始化作业，此时这个NM就称为Driver
4. Application向RM申请资源，分配资源同时通知其他NodeManager启动相应的Executor
5. Executor向NM上的Application Master注册汇报并完成相应的任务

Yarn-client模式

在Yarn-client中，Application Master仅仅从Yarn中申请资源给Executor，之后client会跟container通信进行作业的调度，下图是Yarn-client模式

image

Yarn-client模式下作业执行流程：

1. Spark Driver在启动在本地，通过AM与Yarn交互
2. 客户端生成作业信息提交给ResourceManager(RM)
3. RM在集群中选择一个NodeManager启动container并将Application Master(AM)分配给该NodeManager(NM)
4. NM接收到RM的分配，启动Application Master并初始化作业
5. Application向RM申请资源，分配资源同时通知其他NodeManager启动相应的Executor
6. Executor向本地启动的Application Master注册汇报并完成相应的任务

下表是Spark Standalone与Spark On Yarn模式下的比较

image

参考资料：Apache Spark Resource Management and YARN App Models