spark内核揭秘-05-SparkContext核心源码解析初体验

阅读更多

SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：

进入createTaskScheduler方法：

我们看一下其Standalone的方式：

在上述代码中首先实例化一个TaskSchedulerImpl：

然后构建出了masterUrls：

接着创建出关键的backend：

进入SparkDeploySchedulerBackend实现：

从以上截图可以看出来，SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend

 

此处使用了Akka技术进行不同机器之间的通信，CoarseGrainedExecutorBackend是具体在Worker上执行具体的任务的进程的代表，所以我们的backend实例就是用来提交任务给Executor的：

其实CoarseGrainedExecutorBackend是Executor的代理人，能够完成很多任务，例如启动一个任务：LaunchTask

回到SparkContext的Standalone的方式的代码处：

接着代码是把backend传给了TaskSchedulerImpl的initialize方法中：

在上述代码中显示处理调度模式 例如FIFO和Fair的模式。

在代码块的最后返回实例化后的backend, scheduler：

PS:妈蛋的 公司破网，spark源码没下载成功，只能在github上面看了，蛋疼