spark:SparkContext原理

spark:SparkContext原理_第1张图片


1.创建SparkContext会 createTaskScheduler(),DAGScheduler,SparkUI.

createTaskScheduler在里面会创建3个对象,TaskSchedulerImpl,SparkDeploySchedulerBackend,SchedulePool(它有不同的优先策略,比如FIFO).

a. TaskSchedulerImpl,它其实就是我们所说的TaskScheduler,调用它的start()方法

b.TaskSchedulerImpl的start()其实调用SparkDeploySchedulerBackend的start()

c.SparkDeploySchedulerBackend的start()里,AppClient,创建一个ClientActor

d.调用registerWithMaster()->tryRegisterAllMasters()

你可能感兴趣的:(spark:SparkContext原理)