一分钟吃透spark 之 TaskScheduler

DagScheduler 和 TaskScheduler 的任务交接

spark 调度器分为两个部分， 一个是 DagScheduler， 一个是 TaskScheduler， DagScheduler 主要是用来把一个 Job 根据宽依赖划分为多个Stage（阶段），对于划分出来的每个 stage 都抽象为一个 TaskSet任务集 交给 TaskScheduler 来进行进一步的调度运行。

我们来看一张图， 来理清里面的概念， 我们用户编程使用的 RDD， 每个 RDD都有一个分区数， 这个分区数目创建 RDD 的时候有一个初始值，运行过程中，根据配置的 parallelism 参数 和 shuffle 过程中显示指定的分区数目 来调整个数。

我们可以看到， 一个 task 对应一个 stage 里面一个分区数据的处理任务， task 又分为 ShuffleMapTask 和 ResultTask ， 区分任务是中间阶段的任务 还是最后一个阶段的任务。而一个 stage 里面 所有分区的任务集合 就被包装为一个 TaskSet 交给了 TaskScheduler。

TaskScheduler 调度方式

TaskScheduler 会为每个 TaskSet 创建一个 TaskScheduler， 作为一个调度单位， 放在任务池子里面，调度池分为两种， 一种使用 FIFO调度方式 ， 还有一种使用 Fair调度方式。

FIFO调度方式

这种方式 rootPool 下面直接就是 TaskSetManager ， 没有子 Pool，

根据 FIFOSchedulingAlgorithm 算法排序， 这种方式排序方式很简单， 直接就是先进先出队列的排序方式对多个 TaskSetManager 进行排队。

Fair调度方式

这种方式 rootPool 是根 pool， 下一级是 用户定义的 Pool， 这一层是为了给不同的用户定义不同的优先级用的，用户 Pool 下面才是 TaskSetManager。

FairSchedulingAlgorithm 算法，排序方式是由两个因子控制：

weight： 控制资源池相对其他资源池，可以分配到资源的比例。默认所有资源池的weight都是1。如果你将某个资源池的weight设为2，那么该资源池中的资源将是其他池子的2倍。如果将weight设得很高，如1000，可以实现资源池之间的调度优先级 – 也就是说，weight=1000的资源池总能立即启动其对应的作业。
minShare：除了整体weight之外，每个资源池还能指定一个最小资源分配值（CPU个数），管理员可能会需要这个设置。公平调度器总是会尝试优先满足所有活跃（active）资源池的最小资源分配值，然后再根据各个池子的weight来分配剩下的资源。因此，minShare属性能够确保每个资源池都能至少获得一定量的集群资源。minShare的默认值是0。
排序也是递归的， 因为 rootPool 下面有多个 用户自己的 Pool， 要先根据 FairSchedulingAlgorithm 算法对多个 用户的Pool 排序， 然后对一个 Pool 中的多个 TaskSetManager 也使用 FairSchedulingAlgorithm 算法排序。

任务实际运行的触发方式

触发方式有两种，
1.一堆任务 从 DagScheduler 到 TaskSetManager 提交过来了， 这个时候可能有 大量 executor 的cpu 都闲着呢， 所以要 唤醒他们过来领任务去执行， 这种我们叫做唤醒方式。
2.一个正在执行的任务跑完了， executor 报告任务已经执行完的时候， 这个时候 这个 cpu 又闲着了，看看有没有任务去领一下， 这种我们叫做干完了手里的活接着干方式。
有可能增加了新的 Executor ，这个 executor 来注册了， 相当于产生了新的劳动力， 肯定也要去领活干， 我们叫新劳动力领活干方式，

对于唤醒方式就是 TaskScheduler 把 TaskScheduler作为一个调度单位， 放在任务池子里面后， 然后 调用 reviveOffers 来唤醒， 里面是调用 makeOffers() 方法。
对于 干完了手里的活接着干方式， 就是 接受到了 StatusUpdate 消息， 会去调用一下 makeOffers(executorId)
对于 新劳动力领活干方式 就是接受到 RegisterExecutor 消息后调用一下 makeOffers()

我们来看下 makeOffers() 方法，

  val workOffers = IndexedSeq(
          new WorkerOffer(executorId, executorData.executorHost, executorData.freeCores))
        launchTasks(scheduler.resourceOffers(workOffers))

把执行单位包装为 一个 WorkerOffer ，然后调用 taskSchedule 的 resourceOffers方法， 这个方法的注释如下

Called by cluster manager to offer resources on slaves. We respond by asking our active task
sets for tasks in order of priority. We fill each node with tasks in a round-robin manner so
that tasks are balanced across the cluster.

这个是 resourceOffers 函数的注释， 就是从把任务池子 中的任务排队， 然后取出最前面的任务， 来和 执行单位相结合， 这里需要注意的是， 会把任务尽可能均匀的分配到每个node 上， 一个任务和一个执行单位的结合包装为一个 TaskDescription， 然后把任务发送到执行单位上去执行，

上图中我们可以看到， 只要有空闲的 executor 就会提供资源给 task， 首先要把 workerOffer shuffle 打乱一下， 免得过分蹂躏个别的 executor。

转载于 https://mp.weixin.qq.com/s/9g5e5WlmXUyQDXiU6PTGZA