spark2.2.0源码学习过程记录:Day3

Day3

1、读《apache spark 源码剖析》第三章第3.2节、3.3节
因为3.3节的内容是是讲repl的,我暂时并不关系,所以这部分内容看看书就可以了
而3.2节的内容是讲SparkContext的初始化,比较重要,这部分要看完书后自己再看下源码

2、源码学习
书中3.2节讲的是SparkContext的初始化,但是我学习的版本是2.2.0,初始化是SparkSession,它和SparkContext的关系在后面学习时找出

类 org.apache.spark.repl.Main
生成sparksession的方法为 createSparkSession

首先初始化一些配置,

然后创建一个SparkSession.Builder,把配置项传入builder中
val builder = SparkSession.builder.config(conf)

然后配置对hive的支持,检测spark.sql.catalogImplementation配置项是否为hive;但即使这个配置项值为hive,如果检测到hive的类无法在当前环境加载到,也会回退回in-memory模式。

最后,调用builder的getOrCreate方法,创建SparkSession

类org.apache.spark.sql.SparkSession.Builder
先大致浏览一下这个类
options 外部传入的配置
extensions SparkSession的扩展类,可以提供方法扩展一些解析器、优化器等
userSuppliedContext 用户提供的SparkContext,如果新建SparkSession,会使用
然后看getOrCreate方法
Get the session from current thread's active session,如果有,把options参数更新进去,返回这个session
如果没有,从global session中取,如果有globalSession,把options参数更新进去,返回这个session
如果还是没有,则准备新建一个
新建SparkSession需要使用SparkContext,如果已经有用户指定的,则使用用户指定的(即上面提到的userSuppliedContext)使用用户传入的userSuppliedContext或者使用SparkContext.getOrCreate方法新建一个
如果有配置spark.sql.extensions(这个类配置一个SparkSession扩展类),则使用这个类扩展SparkSession
用刚得到的SparkContext和extensions作为构造参数,新建一个SparkSession,并且把这个session设置为global
为这个新得到的SparkContext创建一个监听器,在这个SparkContext结束时,清除global session的状态和状态监听器(SQLListener继承自SparkListener)
返回刚刚创建的SparkSession(其中包括SparkContext)
SparkSession的初始化完成
现在知道了SparkContext是作为SparkSession的构造参数,返回了SparkSession,SparkContext应该也是可用的了

上面的部分中, SparkContext.getOrCreate(sparkConf)和new SparkSession(sparkContext, None, None, extensions)的源码在接下来分析

类org.apache.spark.SparkContext
这个类有将近3000行,像上面的例子一样通读一遍再看getOrCreate方法应该也可行,但是我的记忆力笔记差,怕读完后面忘了前面,所以先大概了解一下这个类,把所有能收起的代码块都收起,最后剩下下列几个,从注释上看看他们都是大概做什么用的
class SparkContext :spark功能的主要入口,象征和spark集群的连接,可以用来在集群上创建rdd,广播变量,计数器等。一个jvm只能有一个活动的SparkContext(如果想要多个可以使用classloader)
object SparkContext:SparkContext对象包含许多隐式转换和参数
object SparkMasterRegex:一些用来解析spark master url串的正则表达式
class WritableConverter : 封装了一些方法,用来把Writable类型转换成T(e.g. `IntWritable` for `Int`),下面的三个也是
object WritableConverter :封装了一些方法,用来把Writable类型转换成T
class WritableFactory:封装了一些方法,用来把Writable类型转换成T
object WritableFactory:封装了一些方法,用来把Writable类型转换成T

先花5分钟大致浏览了一下class SparkContext 和object SparkContext有哪些方法,然后开始跟getOrCreate方法

在跟这个方法前,把object SparkContext类大致浏览一遍
getOrCreate方法里线程安全的创建一个SparkContext对象,并且把它标记成活跃SparkContext

下面看class SparkContext,这次要从头看了

创建事件监听器总线
// An asynchronous listener bus for Spark events
private[spark] val listenerBus = new LiveListenerBus(this)

设定启动spark任务的用户名优先取系统变量SPARK_USER,没有则取hadoop ugi
// Set SPARK_USER for user who is running SparkContext.
val sparkUser = Utils.getCurrentUserName()

初始化内部字段并验证可用性
创建JobProgressListener并加入监听器总线
创建SparkEnv,创建SparkEnv过程在下一段类分析中说明,可以先看一下
创建SparkStatusTracker,作用:Low-level status reporting APIs for monitoring job and stage progress
创建spark.ui并且绑定端口
创建HeartbeatReceiver用于接收心跳
创建schedulerBackend、taskScheduler、dagScheduler并开启taskScheduler
取得applicationId,并绑定到sparkui上
初始化SparkEnv的blockManager
启动metricsSystem
启动监听器总线,并且通知“环境已更新”和“应用已经启动”的消息
增加ShutdownHook,释放资源,清理系统变量等

初始化到此结束,后面的代码基本都是创建rdd以及运行job时用的api

小细节:
使用了AtomicReference类可以保证原子性地更新一个引用,后面有时间的话学习一下这个类的底层实现,看他提供的api,是一些get、set、update方法等,用法简单明了
其中使用了volatile关键字来保证线程安全

小细节
内部的SparkConf运行时无法改变

类org.apache.spark.SparkEnv

Holds all the runtime environment objects for a running Spark instance (either master or worker),
including the serializer, RpcEnv, block manager, map output tracker, etc

创建RpcEnv用于通信
val rpcEnv = RpcEnv.create(systemName, bindAddress, advertiseAddress, port, conf,
securityManager, clientMode = !isDriver)

创建序列化类
val serializer = instantiateClassFromConf[Serializer](
"spark.serializer", "org.apache.spark.serializer.JavaSerializer")

类似的,创建serializerManager、closureSerializer、broadcastManager、mapOutputTracker等


类SparkSession

初始化SharedState,session间共享,用于State shared across sessions, including the `SparkContext`, cached data, listener, and a catalog that interacts with external systems.

初始化SessionState,session独享,用于State isolated across sessions, including SQL configurations, temporary tables, registered functions, and everything else that accepts a [[org.apache.spark.sql.internal.SQLConf]].If `parentSessionState` is not null, the `SessionState` will be a copy of the parent.

取得SqlContext,向下兼容

后面的代码基本都是创建DataFram、Dataset以及运行sql时用的api

到此为止书中的第三章,也就是SparkSession的初始化过程的源码就学习过了,后面就要学习书的第四章spark作业提交

你可能感兴趣的:(spark2.2.0源码学习)