22Spark任务处理流程

Spark任务处理流程 - thomas0yang的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/thomas0yang/article/details/50352261

最近学习了Spark，其资源和任务调度方式的思想跟Yarn很像，现根据任务提交分析处理过程总结一下相关的主要模块和处理流程。
一些重要术语`
client，用户编写的spark任务提交程序
master，spark主节点，负责任务和资源调度、节点管理，类似于Yarn的ResourceManager
worker，spark工作节点，可以在上面启动Executor进程，类似于Yarn的NodeManager
driver，worker上的一进程，负责任务内部的分解执行等，类似于Yarn的ApplicationMaster
Application，用户在spark上构建的程序，包含了driver程序以及集群上的executors
Job，包含很多task的并行计算，可以认为是Spark RDD 里面的action,每个action的计算会生成一个job。用户提交的Job会提交给DAGScheduler，Job会被分解成Stage和Task
Stage一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。 Stage的划分在RDD的论文中有详细的介绍，简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。比如 rdd.parallize(1 to 10).foreach(println) 这个操作没有shuffle，直接就输出了，那么只有它的task是resultTask，stage也只有一个；如果是rdd.map(x => (x, 1)).reduceByKey(_ + _).foreach(println), 这个job因为有reduce，所以有一个shuffle过程，那么reduceByKey之前的是一个stage，执行shuffleMapTask，输出shuffle所需的数据，reduceByKey到最后是一个stage，直接就输出结果了。如果job中有多次shuffle，那么每个shuffle之前都是一个stage。
Task，被送到executor上的工作单元。Spark上分为2类task，shuffleMapTask和 resultTask

处理流程
集群初始化
启动master，执行master的main函数，初始化master的基本信息，等待任务处理，如相应worker注册，纳入集群管理
启动worker，创建Actor、创建本地目录、注册Worker

任务提交
spark-submit提交最终调用client类（standalone），向master请求requestSubmitJob
master响应，1创建driver、加入待分配driver队列2调度schedule 调度方法，schedule()： 1、从waitDrivers中分配driver,执行driver中的用户程序（FIFO） 2、给waitApps分配exectors（spreadout） 3、launchExectors
某个符合要求（cores、mem）的worker节点被选中作为driver，执行用户程序命令
用户命令new SparkContext(), 创建DAGScheduler、TaskScheduler、SparkDeploySchedulerBackend等，backend创建了AppClient，向master提交registerApplication请求
master响应，registerApplication:1app加入待处理队列waitApps 2调度schedule
调度方法执行launchExectors，worker上启动executor，准备执行任务
用户命令rdd.action,调用DAG进行任务分解为stage，在分解为tasks，TaskScheduler提交Task，backend.LaunchTask(serialiedTask)
worker上的executor线程池执行task，返回结果。1\shuffleMapTask,返回MapStatus2\ResultTask,返回directResult
通知driver，处理task完成，DAG.handleTaskComplet,1、Mapstatus,存放在MapoutputTrackerMaster中，供以后查询使用2、DriectResult,则所有结果在Driver合并，输出结果
程序结束，通知Master节点finishApplication
master节点，finishApplication：removeApp、释放回收executer等空间

以上过程是一个任务提交的主要处理流程，明细如RDD之间的依赖、计算、shuffle、存储等处理等请自行参照Spark源码。关系图总结如下：

这里写图片描述

参考文章： http://spark.apache.org/docs/latest/index.html https://github.com/JerryLead/SparkInternals http://jerryshao.me/architecture/2013/04/21/Spark%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90%E4%B9%8B-scheduler%E6%A8%A1%E5%9D%97/ http://jerryshao.me/architecture/2013/03/29/spark-overview/ http://www.cnblogs.com/cenyuhai/tag/Spark%E6%BA%90%E7%A0%81%E7%B3%BB%E5%88%97/