Application：用户编写的Spark应用程序，Driver即运行上述Application的main()函数并且创建SparkContext。

1.获取SparkSessionspark=SparkSession.builder.config(conf=SparkConf()).getOrCreate()2.获取SparkContext1.获取

SparkContext和SparkConf任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数

SparkConf和SparkContext任何Spark程序都是从SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数

准备数据建模：frompyspark.contextimportSparkContextfrompyspark.sql.sessionimportSparkSessionsc=SparkContext(

(一)SparkSession:SparkSession是Spark程序以及用来创建DataSet和DataFrame的入口类,SparkSession实质上是用来合并这一系列的Context（未来可能还会加上StreamingContext），所以在SQLContext和HiveContext上可用的API在SparkSession上同样是可以使用的。通用的getOrCreate()接口通过建造

在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。

这次主要阅读了SparkContext中的初始化部分，也就是Spark程序启动时执行的一系列步骤。

问题在spark2.0中，官方推荐Spark中所有功能的入口点都是SparkSession类，对于Java开发人员来说，就不太方便从SparkSession中获取JavaSparkContext2.0之前JavaSparkContext写法：SparkConfsparkConf=newSparkConf().setAppName("spark").setMaster("local[*]");Jav

SparkContextSparkConfSQLContextHiveContextStreamingContext参考blog：https://blog.csdn.net/dufufd/article/details/790888911.SparkContext

首先，使用ScalaIDE或IDEA创建Scala的Maven工程。需要用到spark-core，spark-sql，spark-streaming的jar包，pom文件如下：2.1.02.11org.apache.sparkspark-core_${scala.version}${spark.version}org.apache.sparkspark-streaming_${scala.vers

SparkContext，SparkConf在Spark2.0之前，SparkContext是所有Spark功能的结构，驱动器（driver）通过SparkContext连接到集群（通过resourcemanager

在Spark的早期版本中，SparkContext是Spark的主要切入点，由于RDD是主要的API，我们通过sparkContext来创建和操作RDD。

存储着schema(数据的结构信息,字段与类型等)信息3,dataset可以实现实时批量处理的一种方式4,RDDdataframeDataSet可以互相转换5,SparkSession(编程入口)整合了SparkContext

文章开始先让我们看一张图：从图中我们可以大概看出SparkSession与SparkContext的关系了SparkSession是Spark2.0引如的新概念。

Spark2.0之前需要显式地创建SparkConf实例，并用Conf实例初始化SparkContext，再用SparkContext创建SQLContext。

Unit={valspark:SparkSession=SparkSession.builder().master("local[*]").appName("w").getOrCreate()valsc:SparkContext

Spark共享变量计数器和广播变量是Spark提供的两个共享变量，提供给不同结点上的RDD函数使用计数器一个只能增加，用于计数和求和的变量创建方法是SparkContext.accumulator(v,

importmathfrompysparkimportSparkConf,SparkContext#frompyspark.sqlimportSQlContextfrompyspark.sqlimportSQLContextfromrandomimportrandomconf

hgs.spark.esimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext

1.SparkContext是spark功能的入口，代表与spark集群的连接，能够用来在集群上创建RDD、累加器、广播变量2.每个JVM里只能存在一个处于激活状态的SparkContext，在创建新的

它负责开发人员编写的用来创建SparkContext、创建RDD，以及

Driver在集群中的位置分成两种：1）yarn-client客户端模式2）yarn-cluster集群模式yarn模式和standalone模式不同，standalone模式需要启动spark独立集群，这样SparkContext

如下图所示：StreamingContext和SparkContext相似。要使用Spark的流

运行架构组成运行模式介绍两个重要类TaskScheduler和SchedulerBackendyarn运行模式YARN-Client和YARN-Cluster的区别一、运行架构组成Spark运行架构主要由三部分组成：SparkContext

{SparkContext,SparkConf}valconf=newSpark

(args:Array[String]):Unit={valconf=newSparkConf().setAppName("CustomSort1").setMaster("local")valsc:SparkContext

{SparkConf,SparkContext}objectCustomSortDemo1{defmain(args:Array[String]):Unit={valconf=newSparkConf(

valsparkConf:SparkConf=newSparkConf().setAppName("Spark_RDD").setMaster("local[*]")//TODO创建Spark环境连接对象valsc:SparkContext

{SparkConf,SparkContext}objectCustomSort1{//排序规则：首先按照颜值的降序，如果颜值相等，再按照年龄的升序defmain(args:A

{SparkConf,SparkContext}/***CreatedbyMr.Smarton2018-05-24.

Spark工作流程图spark工作流程图.png文字版工作流程：构建SparkApplication的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone

{SparkConf,SparkContext}//开发一个scala版本的wordcount/*bin/spark-submit--masterspark://bigdata111:7077--classdemo.MyWordCount

编译如下代码时，出现valuetoDFisnotamemberoforg.apache.spark.rdd.RDD[People]错误valrdd:RDD[People]=sparkSession.sparkContext.textFile

指的是数据转换执行的过程，有方向，无闭环(其实就是RDD执行的流程)原始的RDD通过一系列的转换操作就形成了DAG有向无环图，任务执行时，可以按照DAG的描述，执行真正的计算(数据被操作的一个过程)●DAG的边界开始:通过SparkContext

RDD触发Action算子时，会调用sc.runJob()，以count算子为例：defcount():Long=sc.runJob(this,Utils.getIteratorSize_).sum在SparkContext

2、DAG的创建DAG描述多个RDD的转换过程，任务执行时，可以按照DAG的描述，执行真正的计算；DAG是有边界的：开始（通过sparkcontext创建的RDD），结束（触发action，调用runjob

{SparkConf,SparkContext}/***Create

使用三种方式创建RDD使用SparkContext的parallelize()方法序列化本地数据集合创建RDD。使用外界的数据源创建RDD，比如说本地文件系统，分布式文件系统HDFS等等。

这2个概念很容易混淆，需要写一遍文章梳理spark的DAGschedule&taskschedule区别以及相互联系在我们的应用程序的mian方法中我们定义了sparkcontext，sparcontext

威廉展示了如何构建一个简单的Spark集群，本文将介绍如何在Spark集群上部署运行我们的程序首先来看下Spark的简要工作流程Spark应用运行在各自独立的进程中，由主程序（也被称为driver程序）中的SparkContext

Stage；之后结合当前缓存情况及数据就近的原则，将Stage提交给TaskSchedulerprivate[spark]classDAGScheduler(private[scheduler]valsc:SparkContext

通过设置可直接覆盖文件路径，此方法我没有测试[html]viewplaincopyyourSparkConf.set("spark.hadoop.validateOutputSpecs","false")valsc=SparkContext

{SparkConf,SparkContext}importscala.collection.mutable.ArrayBufferobjectMapAndPartitions{defmain(args

hadoopfs-rmpath2.通过设置可直接覆盖文件路径，此方法我没有测试yourSparkConf.set("spark.hadoop.validateOutputSpecs","false")valsc=SparkContext

StreamingContextStreamingContext是SparkStreaming程序的主要入口，其构造函数如下：classStreamingContextprivate[streaming](_sc:SparkContext

{SparkConf,SparkContext}/***Createdbytgon10/8/16.

{SparkConf,SparkContext}/***CreatedbyAdministratoron2017/2/3.

{SparkContext,SparkConf}casecla

Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，然后一方面保持与ApplicationMaster的RPC连接，通过ApplicationMaster申请资源，另一方面根据用户业务逻辑开始调度任务