在上一章中我们讲解了SparkYARN-Cluster模式下的任务提交流程，但是我们并没有具体说明Driver的工作流程，Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，

1.SparkContex原理剖析1.图解：2.SparkContext源码分析1.TaskScheduler创建：SparkContext.scala//Createandstarttheschedulerprivate

参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。

{SparkConf,SparkContext}objectAcc1{defmain(args

spark内核开篇图下面是Standalone集群模式的情况，yarn集群也是大同小异向集群submit一个应用以后，启动一个Application,里面会启动一个Driver进程Driver里面会生成一个sparkContext

前言SparkCore中，如果想要执行应用程序，需要首先构建上下文环境对象SparkContext,SparkSQL其实可以理解为对SparkCore的一种封装，不仅仅在模型上进行了封装，上下文环境对象也进行了封装

{SparkConf,SparkContext}objectTest04{defmain(args:Array[String]){valconf:SparkConf=newSparkConf().setMaster

在operator模块中导入add类frompysparkimportSparkContext,SparkConffromoperatorimportadd#应用程序名#初始化一个SparkContext

系列文章目录Spark机器学习实战-专栏介绍文章目录系列文章目录前言一、ApacheSpark的基础知识RDDDataFrame二、安装及使用Spark三、Spark编程模型及Sparkpython编程入门SparkContext

ERRORSparkContext:ErrorinitializingSparkContext.Java.lang.IllegalArgumentException:Systemmemory259522560mustbeatleast4.718592E8.Pleaseusealargerheapsize.在Eclipse里开发Spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错：

Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，然后一方面保持与ApplicationMaster的RPC连接，通过ApplicationMaster申请资源，另一方面根据用户业务逻辑开始调度任务

{SparkConf,SparkContext}importorg.apa

【Spark程序执行1】SparkContext对象构建以及RDD依赖解析【Spark程序执行2】阶段划分（dagScheduler）【Spark程序执行3】任务划分承接【Spark程序执行2】阶段划分

Application：初始化一个SparkContext即生成一个Application，通常一个main函数就是一个Application；Job：一个Action算子就会生成一个Job，常用Action

当启动sparkContext的时候，一个driver就被启动了，同时多个executor也被启动。executor不能跨节点，但是一个节点可以有多个e

的创建frompysparkimportSparkConf,SparkContextconf=SparkConf().setMaster("local").setAppName("Myapp")sc=SparkContext

Driver：运行Application的main()函数并创建SparkContext，创建SparkContext的目的是和集群的ClusterManager通讯，

newSparkConf().setAppName(appName).setMaster(master);valssc=newStreamingContext(conf,Seconds(1));还可以使用已有的SparkContext

UserVisitSessionAnalyzeSpark.javapackagecom.ibeifeng.sparkproject.spark;importjava.util.Iterator;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext

Driverprogram该进程运行应用的main()方法并且创建了SparkContext。Workernode任何在集群中可以运行应用代码的节点。

HeartbeatReceiver类声明和构造部分成员属性的含义HeartbeatReceiver提供的方法启动监听Executor添加和移除消息处理与回复处理Executor心跳清理超时的Executor总结前言按照SparkContext

我们知道Spark提交模式一般分为client/cluster两种，直观上的区别就是SparkContext类是否在客户端进程中进行实例化。

{SparkConf,SparkContext}/***业务场景：求最大最小值*CreatedbyYJon2017/2/8.*/objectcase5{defmain(args:Arra

2.创建SparkContext对象。3.基于Spark的上下文创建一个RDD，对RDD进行处理。4.应用程序中要有Action类算子来触发Transformation类算子执行。

一、角色分析一、Driver在Driver端，通过Py4j实现在Python中调用Java的方法，即将用户写的PySpark程序”映射”到JVM中，例如，用户在PySpark中实例化一个Python的SparkContext

一、SparkContextSparkApplication程序入口为：SparkContext，任何一个应用首先需要构建SparkContext对象，如下两步构建：第一步、创建SparkConf对象。

{SparkConf,SparkContext}objectAction{defmain(args:Array[String]):Unit={valconf:SparkConf=newSparkConf

目录前言初始化与类定义SparkContext中的初始化逻辑ContextCleaner类的属性成员清理任务及弱引用的封装ContextCleaner的执行流程启动清理逻辑总结前言话休絮烦，本文讲解SparkContext

{SparkConf,SparkContext}/***业务场景：求最大最小值*CreatedbyYJon2017/2/8.*/objectcase5{defmain(args:Arra

{SparkConf,SparkContext}objectAction{defmain(args:Array[String]):Unit={valconf:SparkConf=newSparkConf

{SparkConf,SparkContext}/***业务场景：求最大最小值*CreatedbyYJon2017/2/8.*/objectcase5{defmain(args:Arra

spark：分布式计算引擎，用多台计算机完成计算任务计算机角色：master与slave(物理层级)，driver与exector(应用层级)driver是资源管理和调度器，拥有sparkcontext

Spark工作流程图spark工作流程图.png文字版工作流程：构建SparkApplication的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone

累加器使用（1）累加器定义（SparkContext.accumulator(initialVal

1、开发第一个Spark程序1)创建一个SparkContext2)加载数据3)把每一行分割成单词4)转换成pairs并且计数2、wordCount程序importorg.apache.spark.

Sparkcomponents示意图1.1sparkcomponent示意图解释(1)driverprogram内包含了sparkcontext对象sparkContext是spark函数的entrypoint

classRDD源码解析1.1RDD源码abstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext,@transientprivatevardeps

p=36一、数据数据网站：http://www.sogou.com/labs/resource/q.php二、需求针对SougoQ用户查询日志数据中不同字段，使用SparkContext读取日志数据，封装到

{SparkConf,SparkContext}objectDemo03Map{defmain

集群配置4、Spark启动5、访问Spark集群三、开发案例1、核心依赖2、案例代码开发四、源代码地址一、Spark概述运行结构Driver运行Spark的Applicaion中main()函数，会创建SparkContext

SparkSession三、SQLContext四、HiveContext一、概述spark有三大引擎，sparkcore、sparkSQL、sparkStreaming，sparkcore的关键抽象是SparkContext

RDD创建RDD的创建包括：从集合中创建从其他存储（比如hdfs、本地文件等）创建从其他RDD创建下面通过这几种方式来创建RDD，在创建RDD之前需要创建SparkContext，从下面的例子可以看出Spar

{SparkConf,SparkContext}importorg.sl

（2）复杂点说：提交应用程序，构建sparkContext，构建DAG图，提交给scheduler进行解析，解析成一个个

一般开发一个spark应用的基本流程如下几部：   1.创建sparkcontext；   2.从sparksession作为入口，读取数据，然后

{SparkConf,SparkContext}/**业务场景：求最大最小值CreatedbyYJon2017/2/8.*/objectcase5{defmain(args:Array[

参考博客来自微信公众号暴走大数据1.SparkContext的作用SparkContext存在于Driver中，是Spark功能的主要入口。

前面已经分析到了driver进程成功在某台worker上启动了，下面就开始执行我们写的那些代码了。以一个wordcount程序为例，代码如下：valconf=newSparkConf().setAppName("WordCount").setMaster("local")valsc=newSparkContext(conf)vallines=sc.textFile("./file/localfil

2、运行结构Driver运行Spark的Applicaion中main()函数，会创建SparkContext，SparkContext负责和Cluster-Manager

{SparkConf,SparkContext}objectSparkRDDTest{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName