Spark-Core源码精读(5)、Spark内核架构概述

前面的文章中我们分析了Spark的部署模式和提交程序的流程，也分析了Master中schedule方法在感知到资源变化或者有新的应用程序提交时，启动Driver和Executors的过程，下面我们首先对Spark的内核架构进行系统的分析，然后再用几篇文章对涉及到的各个部分进行详细的说明。

一些术语

术语	描述
Application	用户编写的程序包括了Driver端的SparkContext、SparkConf和运行在Executors中上的用户编写的业务逻辑代码(map、reduce、reduceByKey等)
Application jar	用户编写完程序后生成的jar包
Driver	执行用户编写应用程序的mian()方法并且创建SparkContext
Cluster manager	管理集群的资源(方式有：standalone、Mesos、Yarn)
Deploy mode	部署的模式，用来区分Driver运行在哪里，如果是cluster模式，Driver会运行在集群中，如果是client模式，Driver运行在集群外
Worker node	具体运行应用程序的节点
Executor	运行在Worker节点上的进程，用来运行具体的Task
Task	发给Executor执行的工作单位
Job	由Spark的Action级别的操作(save、collect等)触发的由一系列Task组成的并行的计算
Stage	每个Job都会被划分成若干个Stage，后面会详细说明

Spark Runtime

下面我们来阐述一下Spark Runtime，即Spark的运行时。

Driver

运行应用程序的时候，具有main方法，且创建了SparkContext，是整个程序运行的调度的核心。内部会有高层调度器(DAGScheduler)和底层调度器(TaskScheduler)，高层调度器把整个作业(Job)划分成几个小的阶段(Stage)，底层调度器负责每个阶段内的任务(Task)该怎么去执行。由SchedulerBackend管理整个集群中为当前运行的应用程序分配的计算资源，分配的计算资源其实就是Executors，同时向Master注册当前的应用程序，如果注册成功，Master会向其分配资源。下一步根据action级别的操作出发job，job中会有一系列的RDD，从后往前推，如果是宽依赖的话就划分为不同的Stage，划分完成后提交给底层调度器TaskScheduler，TaskScheduler拿到具体的任务的集合，然后根据数据的本地性原则，把任务发放到对应的Executor上去执行，当Executor运行成功或者出现状况的话都会向Driver进行汇报，最后运行完成之后关闭SparkContext，所创建的对象也会随之关闭。

Worker

在程序运行的时候，Worker本身并不会运行程序的代码，而是管理当前节点的内存、Cpu cores等资源的使用，并接收Master的指令来分配具体的资源Executor，通过ExecutorRunner启动一个新的进程，里面运行着Executor，Executor会管理我们具体分配的进程，并监控Executor的运行状况。应用程序的计算运行在具体的Executor中，我们可以把Worker看成工头，Cluster Manager可以看成是项目经理。

Executor

Executor是运行在Worker所在的节点上为当前应用程序而开启的进程里面的一个对象，这个对象负责了具体task的运行，具体是通过线程池并发执行和复用的方式实现的。这里要补充一点：Hadoop的MR是运行在一个又一个JVM上，而JVM比较重量级且不能被复用，而Spark中是通过线程池并发执行和复用的方式执行tasks，极大的方便了迭代式计算，所以Spark的性能大大提高。每个task的计算逻辑一样，只是处理的数据不同而已。

Spark应用程序的运行并不依赖于Cluster Manager，如果应用程序注册成功，Master就已经提前分配好了计算资源，运行的过程中跟本就不需要Cluster Manager的参与(可插拔的)，这种资源分配的方式是粗粒度的。

关于数据本地性，是在DAGScheduler划分Stage的时候确定的，TaskScheduler会把每个Stage内部的一系列Task发送给Executor，而具体发给哪个Executor就是根据数据本地性原则确定的，有关数据本地性的详细内容也会在后面的文章中进行说明。

下面用一张图来概括一下：(如果图看不清的话可以右键选择在新窗口中打开图像即可)

本文只是总体的概括了Spark的内核架构，具体的实现细节会在接下来的文章中结合源码进行详细的说明。

本文为原创，欢迎转载，转载请注明出处、作者，谢谢！