Spark1.0.0 运行架构基本概念

Spark Application的运行架构由两部分组成：driver program（SparkContext）和executor。Spark Application一般都是在集群中运行，比如Spark Standalone、YARN、mesos，这些集群给Spark Applicaiton提供了计算资源和这些资源管理，这些资源既可以给executor运行，也可以给driver program 运行。根据Spark Application的driver program是否在资源集群中运行，Spark Application的运行方式又可以分为Cluster模式和Client模式。Spark1.0.0提供了一个Spark Appliaction的部署工具bin/spark-sumbit，具体用法参见 Spark1.0.0 应用程序部署工具spark-submit。下面介绍一下Spark1.0.0 运行架构中的基本概念、Standalone中运行过程、YARN中运行过程。

1：基本术语

• Application： 基于Spark的用户程序，包含了一个driver program 和 集群中多个的executor
• Driver Program ：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program
• Executor： 是为某Application运行在worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的executors。
• Cluster Manager： 在集群上获取资源的外部服务(例如：Standalone、Mesos、Yarn)
• Worker Node： 集群中任何可以运行Application代码的节点
• Task： 被送到某个executor上的工作单元
• Job： 包含多个Task组成的并行计算，往往由Spark action催生，该术语可以经常在日志中看到。
• Stage： 每个Job会被拆分很多组task，每组任务被称为Stage，也可称TaskSet，该术语可以经常在日志中看到。
• RDD：Spark的基本计算单元，可以通过一系列算子进行操作（主要有Transformation和Action操作），详情见RDD 细解、Spark1.0.0 编程模型。
• DAG Scheduler：根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler，详见DAG Scheduler 细解。
• TaskScheduler：将Taskset提交给worker（集群）运行并回报结果，详见TaskScheduler 细解。

关于Application中的几个概念可如下图所示：

2：Spark运行架构

Spark运行架构参见下面示意图：

• 构建Spark Application的运行环境（启动SparkContext）
• SparkContext向资源管理器（可以是Standalone、Mesos、Yarn）申请运行Executor资源，并启动StandaloneExecutorBackend，executor向SparkContext申请Task。
• SparkContext将应用程序代码发放给executor
• SparkContext构建成DAG图、将DAG图分解成Stage、将Taskset发送给Task Scheduler、最后由Task Scheduler将Task发放给Executor运行。
• Task在Executor上运行，运行完毕释放所有资源。

  下面简单的描述一下Spark on Standalone和Spark on YARN的运行过程，以后的篇幅中再具体描述。

3：Spark on Standalone运行过程（client模式）

• SparkContext连接到Master，向Master注册并申请资源（CPU Core 和Memory）
• Master根据SparkContext的资源申请要求和worker心跳周期内报告的信息决定在哪个worker上分配资源，然后在该worker上获取资源，然后启动StandaloneExecutorBackend。
• StandaloneExecutorBackend向SparkContext注册
• SparkContext将Applicaiton代码发送给StandaloneExecutorBackend；并且SparkContext解析Applicaiton代码，构建DAG图，并提交给DAG Scheduler分解成Stage（当碰到Action操作时，就会催生Job；每个Job中含有1个或多个Stage，Stage一般在获取外部数据和shu f f le之前产生），然后以Stage（或者称为TaskSet）提交给Task Scheduler，Task Scheduler负责将Task分配到相应的worker，最后提交给StandaloneExecutorBackend执行；
• StandaloneExecutorBackend会建立executor 线程池，开始执行Task，并向SparkContext报告，直至Task完成。
• 所有Task完成后，SparkContext向Master注销，释放资源。
• 关于Spark on Standalone的更详细信息参见Spark1.0.0 on Standalone 运行架构实例解析

   

4：Spark on YARN 运行过程（cluster模式）

• 用户通过bin/spark-submit（ Spark1.0.0 应用程序部署工具spark-submit）或 bin/spark-class 向YARN提交Application
• RM为Application分配第一个container，并在指定节点的container上启动SparkContext。
• SparkContext向RM申请资源以运行Executor
• RM分配Container给SparkContext，SparkContext和相关的NM通讯，在获得的Container上启动StandaloneExecutorBackend，StandaloneExecutorBackend启动后，开始向SparkContext注册并申请Task
• SparkContext分配Task给StandaloneExecutorBackend执行
• StandaloneExecutorBackend执行Task并向SparkContext汇报运行状况
• Task运行完毕，SparkContext归还资源给NM，并注销退出。
• 关于Spark on Standalone的更详细信息参见Spark1.0.0 on YARN 运行架构实例解析

  

5：Spark运行架构的特点

• 每个Application获取专属的executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。这种Application隔离机制有其优势的，无论是从调度角度看（每个Driver调度它自己的任务），还是从运行角度看（来自不同Application的Task运行在不同的JVM中）。当然，这也意味着Spark Application不能跨应用程序共享数据，除非将数据写入到外部存储系统。
• Spark与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了。
• 提交SparkContext的Client应该靠近Worker节点（运行Executor的节点)，最好是在同一个Rack里，因为Spark Application运行过程中SparkContext和Executor之间有大量的信息交换；如果想在远程集群中运行，最好使用RPC将SparkContext提交给集群，不要远离Worker运行SparkContext。
• Task采用了数据本地性和推测执行的优化机制。详见TaskScheduler 细解。