大数据Spark-----spark代码源码解析

first Codec

**public class Friend {
	public static void main(String[] args){
		System.out.println("BigData加：947967114");
	}
}**

SPARK源码解析
首先看一段使用scala编写的spark代码：
package spark0719

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object Ttspark {

val conf =new SparkConf().setAppName(“sp”).setMaster(“local”)

def main(args: Array[String]): Unit = {

val sc=new SparkContext(conf)

val number=sc.parallelize(1 to 9)

def mapDoubleFunc(num:Int):(Int,Int)={
(num,num*2)
}

val mapResult=number.map(mapDoubleFunc)

mapResult.collect//foreach(println)/savaAsTextFile(“file:///”)

		  //sc.testFile("file:///")

}
}
第一行（package spark0719）最开始是程序的包名package。

第二、三行（import org.apache.spark.SparkConf）
是使用import引入程序包。

第四行（object Ttspark ）开始是有一个object开始的，这个是伴生对象，spark或者说scala引入伴生对象的原始是需要静态的代码块，因为scala里不存在static的概念，但是scala的底层又是用java实现的，java内存在着大量的static部分程序，最具代表的就是main函数，在scala中也是使用main函数执行的，这就造成了一个矛盾，java的main是static，scala又没有static代表main不能执行，为了解决这个矛盾，scala引入了伴生对象的概念，所有的static的东西都放在object（伴生对象）中实现。

第五行（
val conf =new SparkConf().setAppName(“sp”).setMaster(“local”)
）定义一个常量conf，重点是SparkConf，SparkConf是用于设置Spark的配置属性

由第一幅图可以看到getSystemProperties获取的是配置文件，由第二图可以看到，sparkConf里设置master节点、appName、jar包等。所以程序中sparkConf后面直接调用了setMaster和setAppname函数进行两个参数的设置，第二个的local表示本地运行。

第五行（def main(args: Array[String]): Unit =）表示主运行函数开始，main括号内表示args是一个Array类型，Array中是String类型，返回值是Unit（无返回类型相当于java的void），

第六行（val sc=new SparkContext(conf)），定义一个sc接受实例化的SparkContext。
sparkContext在Spark应用程序的执行过程中起着主导作用，它负责与程序和spark集群进行交互，包括申请集群资源、创建RDD、accumulators及广播变量等。sparkContext与集群资源管理器、work节点交互图如下：

官网对图下面几点说明：
（1）不同的Spark应用程序对应不同的Executor，这些Executor在整个应用程序执行期间都存在并且Executor中可以采用多线程的方式执行Task。这样做的好处是，各个Spark应用程序的执行是相互隔离的。除Spark应用程序向外部存储系统写数据进行数据交互这种方式外，各Spark应用程序间无法进行数据共享。
（2）Spark对于其使用的集群资源管理器没有感知能力，只要它能对Executor进行申请并通信即可。这意味着不管使用哪种资源管理器，其执行流程都是不变的。这样Spark可以与不同的资源管理器进行交互。
（3）Spark应用程序在整个执行过程中要与Executors进行来回通信。
（4）Driver端负责Spark应用程序任务的调度，因此最好Driver应该靠近Worker节点。
1.源码鉴赏-综述
在spark程序运行起来后，程序就会创建sparkContext，解析用户的代码，当遇到action算子时开始执行，但是在执行之前还有很多前提工作要在sparkContext中做的，请记住你要了解了sparkContext，你就了解了spark。

sparkContext构建的顶级三大核心：DAGScheduler，TaskScheduler，SchedulerBackend.

1.DAGScheduler是面向Job的Stage的高层调度器。
2.TaskScheduler是一个接口，是低层调度器，根据具体的ClusterManager的不同会有不同的实现。Standalone模式下具体实现的是TaskSchedulerlmpl。
3.SchedulerBackend是一个接口，根据具体的ClusterManger的不同会有不同的实现，Standalone模式下具体的实现是SparkDeloySchedulerBackend。
从整个程序运行的角度来讲，sparkContext包含四大核心对象：DAGScheduler,TaskScheduler，SchedulerBackend，MapOutputTrackerMaster。
SparkDeploySchedulerBackend有三大核心功能：
1.负责接收Master接受注册当前程序RegisterWithMaster。
2.接受集群中为当前应用程序而分配的计算资源Executor的注册并管理Executor。
3.负责发送Task到具体的Executor执行。
4.SparkDeploySchedulerBackend是被TaskSchedulerlmpl管理的。
sparkContext变量初始化
创建sparkContext的时候会做很多初始化事情，初始化很多变量。

事件监控总线：

第一个重要的初始化来了：这个地方是创建sparkEnv，就是创建actor，根据判断创建dirver-actor

sparkContext的三大核心：这个只是一个定义getter和setter的方法，scala和java是有区别的，可以看看语法。但请时刻记住这三个核心。

从try开始了真正意义上的初始化操作了：396行。

_conf = config.clone()：调用clone函数进行conf的复制
_conf.validateSettings()：检查一些关键配置和是否存在，一些默认配置如果不存在，添加默认设置参数。
_conf.set(“spark.executor.id”, SparkContext.DRIVER_IDENTIFIER)：请注意这个，其实在spark眼里没有driver的概念，都是Executor，只是id标签标记为了driver而已。

下面是三大核心的创建：

创建createTaskScheduler：根据master的运行情况创建：

这个地方用到了正则匹配来判断master的模式，我们以standalone的模式来讲解：

根据模式匹配:TaskSchedulerImpl 创建，注意集群模式默认重试4次，本地模式只尝试1次（val backend = new LocalBackend(sc.getConf, scheduler, 1)）。

可以自己观察一下其他模式的创建情况，但是会发现TaskSchedulerlmpl基本上是一样。
val scheduler = new TaskSchedulerImpl(sc)：主要的是初始化一些变量。
scheduler.initialize(backend)：创建资源配置池和资源调度算法，同时通过SchdulableBuilder.addTaskSetmanager：SchdulableBuilder会确定TaskSetManager的调度顺序，然后按照TaskSetManager来确定每个Task具体运行在哪个ExecutorBackend中。

创建_dagScheduler = new DAGScheduler(this)

启动taskScheduler

第六行（val number=sc.parallelize(1 to 9)）表示在本地加载9个数，还有另一种加载方式，使用外部数据 sc.textFile(“file:///”).下图为parallelize的源码

1、我们看到[T:ClassTag]可能非常奇怪是什么意思？
ClassTag
源码中的解释，在泛型中，type T是被擦除的。这个是非常有用的，在我们构建数组的时候，但是数组的类型我们也不知道，编译的时候不知道，但是运行的时候要知道，ClassTag只包含实际运行时的类的类型。
ClassTag会帮我们存储T的信息，根据类型推到可以指定T是I什么类型，这时候ClassTag就可以把此类型信息传递给编译器。ClassTag运行时指定在编译的时候无法指定的类型信息。
不需要写这样写，implicit m : Manifest[T]

2、紧接着小括号内是两个参数，一个是Seq是一个集合，代表任何类型任何数据的集合，第二个参数是输入：(seq: Seq[T],numSlices: Int = defaultParallelism)seq是一个序列，numSlices有一个默认值defaultParallelism，它的大小是有task决定，task在默认情况下又是core决定，RDD[T]代表返回类型是任何类型的RDD（即在此刻构建RDD），后面的withScope是一个函数，它是用来做DAG可视化的（DAG visualization on SparkUI），以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在sparkUI中能展示更多的信息。所以把所有创建的RDD的方法都包裹起来，同时用RDDOperationScope 记录 RDD 的操作历史和关联，就能达成目标。
3、后面的assertNotStopped()是用来检查context时候存在的，由下图可以看出首先获取activeContext，检查是否为空，不空获取信息，如果获取的是一个挺尸的SparkContext抛出异常。

4、最后一句是关键：new ParallelCollectionRDD[T](this, seq, numSlices, MapInt, Seq[String])，如下是ParallelCollectionRDD源码

ParallelCollectionRDD这个类重写了RDD内部原始的三个方法。重点部分是getPartition这个函数。用于获取数据的分片信息。以上解释我们知道该函数是用于创建RDD，获取数据，获取sparkcontext信息，获取分片等重要信息，可以说该函数是程序的开始。

第七、八、九行是自己写的一个函数
def mapDoubleFunc(num:Int):(Int,Int)={
(num,num*2)
}
该函数一个参数是Int类型，返回值是两个都是Int类型，大括号内是函数体，表示返回参数本身和参数成2

第十行（val mapResult=number.map(mapDoubleFunc)）表示把加载好的1到9交给map处理，map是一个RDD的算子，里面传了自定义的函数作为参数，实现所有的数输出的结果是本身和本身乘2

第十一行（mapResult.foreach(println)）表示把map的结果使用foreach进行循环，把所有值都逐一打印出来。

对于map和foreach这类的RDD后续会重点介绍。