Spark 内核设计的艺术架构与实现 第二章Spark模型设计

1 Spark编程模型

1. 用户使用SparkContext 提供的API编写Driver段程序（常用的textFile sequenceFile runjob 等）Spark

2.4Spark基本架构

从集群部署的角度来看，Spark集群由集群管理器Cluster Manager 工作节点Worker 执行器 Executor 驱动器Driver 应用程序Application 等部分组成
1Cluster Manager 并不负责对Executor 的资源分配，分配的资源属于一级分配，将各个Worker上的内存、CPU等资源分配给Application ,不负责对Executor的资源分配
2、Worker
Worker阶段主要负责：

将自己内存、CPU等资源通过注册机制告知Cluster Manager；
创建Executor；
将资源和任务进一步分配给Executor;
同步资源信息，Executor状态信息给Cluster Manager等

3、Executor
执行计算任务的一线组件，主要负责任务执行与Worker、Driver信息同步
4、Driver
Application的驱动程序，Application通过Driver与Cluster Manager、Executor进行通信。
5、Application
用户使用Spark提供的API编写的应用程序，Application通过Spark API进行RDD的转换和DAG的构建
并通过Driver将Application注册到Cluster Manager ，Cluser Manager根据Application的资源需求，通过一级分配将内存、CPU等资源分配给Application。Driver通过二级分配将Executor等资源分配给每一个任务 Application 最终通过Driver告诉Executor运行任务
关系图如下