[机制]SparkContext任务调度~Spark技术内幕之任务调度

Spark技术内幕之任务调度：从SparkContext开始 - anzhsoft的技术专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/anzhsoft/article/details/39268963?utm_source=tuicool&utm_medium=referral

SparkContext是开发Spark应用的入口，它负责和整个集群的交互，包括创建RDD，accumulators and broadcast variables。理解Spark的架构，需要从这个入口开始。下图是官网的架构图。

Paste_Image.png

DriverProgram就是用户提交的程序，这里边定义了SparkContext的实例。SparkContext定义在core/src/main/scala/org/apache/spark/SparkContext.scala。

org.apache.spark.scheduler.TaskSchedulerImpl通过一个SchedulerBackend管理了所有的cluster的调度；它主要实现了通用的逻辑。对于系统刚启动时，需要理解两个接口，一个是initialize，一个是start。这个也是在SparkContext初始化时调用的：

由此可见，初始化主要是SchedulerBackend的初始化，它主要时通过集群的配置来获得调度模式，现在支持的调度模式是FIFO和公平调度，默认的是FIFO。

接下来，我们将对TaskScheduler，SchedulerBackend和DAG Scheduler进行详解，来逐步揭开他们的神秘面纱。

---

1.3.1　SparkContext类与SparkConf类 - 51CTO.COM
http://book.51cto.com/art/201508/489483.htm