Spark 内核架构深度剖析
如果你要要学习 Spark 内核架构，要有一定spark 编程基础，对Scala能达到熟练的水平。我们先从案例开始一步一步介绍Spark 内核架构。
1 Word Count程序案例展示
import org.apache.spark.{SparkConf,SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
//给应用程序添加程序名称
val conf = new SparkConf().setAppName("WordCount")
//初始化 SparkContext
val sc =new SparkContext(conf)
//创建一个RDD
val lines = sc.textFile("hdfs://spark01:9000/spark.txt",1)
val worlds = lines.flatMap(line => line.split(" "))
val pairs = worlds.map(world => (world,1))
val worldCounts = pairs.reduceByKey(_ + _)
worldCounts.foreach(worldCount =>println( worldCount._1 + " appeared " + worldCount._2 +" times."))
}
}
这是一个很简单的 wordcount程序,用于计算每个单词出现的次数。
2 Application
我们将自己编写的spark应用程序提交到集群机器上，我们上传的那台机器的spark程序就叫做Application
3 Spark-submit
我们可以使用spark-submit 将Application 提交到spark集群
4 Driver
使用spark-submit 提交Application 提交到集群的这种方式叫Standalone，其实会通过反射的方式，创建一个DriverActor进程出来。Driver会执行我们提交的代码
5 SparkContext
//给应用程序添加程序名称
val conf = new SparkConf().setAppName("WordCount")
//初始化 SparkContext
val sc =new SparkContext(conf)
通过上面两句代码 Driver 会开始初始化SparkContext。SparkContext 在初始化的时候，做的最重要的两件事，就是构造出来DAGScheduler和 TaskScheduler
6 TaskScheduler
TaskScheduler 实际上，是会负责，通过它对应的一个后台进程，去链接Master节点，向Master 注册Application
7 Master
Master 节点接受到Application 注册的请求之后，会使用自己的资源调度算法，在spark集群的Worker 节点上，为这个Application启动多个Executor进程。
8 Executor（进程）
Executor 启动之后，会自己反向注册到TaskScheduler上去。之后Driver 结束 SparkContext的初始化，然后继续执行我们编写的transformation 和 action。
每执行到一个action，就会创建一个job，并提交到DAGScheduler。
9 Job
每一个action 都会创建一个job,
如下这行代码就是一个action，这行上面的三行代码都是transformation。
worldCounts.foreach(worldCount => println( worldCount._1 + " appeared " +
worldCount._2 +" times."))
}
[if !supportLineBreakNewLine]
[endif]
10 DAGScheduler
DAGScheduler 会将每一个job划分为多个stage ，然后每个stage会创建一个TaskSet ，然后TaskScheduler会把TaskSet里的每个task提交到Executor 上执行。
11 TaskRunner
Executor 每接收到一个task，都会用TaskRunner来封装task ，然后从线程池取出一个线程，来执行这个task。
TaskRunner将我们编写的代码，也就是要执行的算子以及函数，拷贝，反序列化，然后执行task。
12 ShuffleMapTaskand ResultTask
Task有两种，ShuffleMapTask和 ResultTask。只有最后一个stage是ResultTask，之前的都是ShuffleMapTask。
所以，最后整个spark应用程序的执行，就是stage分批次作为taskset提交到executor执行，每个task针对RDD的一个partition，执行我们定义的算子和函数。以此类推，直到所有操作执行完为止。