spark执行流程中(taskscheduler源码解释)

  Dagscheduler将taskset提交给Taskscheduler,Taskscheduler主要做了哪些工作呢?

  1>Taskscheduler会将这些taskset放到taskset的缓冲池中,并创建tasksetmanager对taskset进行生命周期的管理

 2>实现类taskschedulerimpl会调用resourceoffer方法。对tasksetmanager进行一个排序,以便资源的分配

 3>调用schedulerbacked方法,给driverendpoint终端点发送消息,获取可用的execotor

 4>创建2种调度池,fifoschedulerbuilder和failschedulerbuilder,将这些taskset分解成对应的小任务,放入到调度池中,由调度池调度这些小的任务集.

 

你可能感兴趣的:(spark执行流程中(taskscheduler源码解释))