Spark架构分析

提交spark程序(apliaction)
会通过反射再本机上生成一个driveractor(提交方式是standalone)
执行application程序首先构造出sparkconf然后构造出sparkcontext
sparkcontext初始化的时候生出两个调度器DASGSchuleder和TaskSchulerder
TaskSchulerder会到spark集群Master上注册资源,
Master收到注册资源请求后 会通过自己的资源调度算法,在集群的Worker上为spark应用程序启动多个executor 进程
Executor启动会反向注册信息到TaskSchulerder上,反向注册之后结束SparkContext的初始化工作
继续执行我们编写的spark程序,没执行一个action就会创建一个job 提交个DASGSchulerder,
DASGSchulerder会根据stage划分算法,生成多个stage,
每一个stage会创建一个TaskSet,然后提交个 TaskSchuleder,TaskSchuleder将任务会根据task分配算法将taskset中的每一个task提交到executor上执行,
executor每接收到一个task都会用TaskRuner来封装Task,
然从线程池中取出一个线程执行这个task(TaskRunner会把我们编写的代码中要执行的算子、函数 拷贝,
反序列化然后执行task{task分为两种,一种是ShuffleMapTask,一种是ResultMapTask,只有最后一个stage的时候才是resultMapTask} )
整个spark应用程序的执行就是 stage分批次提交到executor上执行,每一个task针对的是RDD中的一个patition,执行我们的函数和算子,以此类推知道所有
的操作执行完为止

转载于:https://www.cnblogs.com/SupperMan/p/6871767.html

你可能感兴趣的:(Spark架构分析)