Spark运行流程

参考博文:https://blog.csdn.net/qq_17677907/article/details/88685705

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

Spark相对于Hadoop的优势

Hadoop虽然已成为大数据技术的事实标准,但其本身还存在诸多缺陷,最主要的缺陷是其MapReduce计算模型延迟过高,无法胜任实时、快速计算的需求,因而只适用于离线批处理的应用场景。

回顾Hadoop的工作流程,可以发现Hadoop存在如下一些缺点:

  1. 磁盘IO开销大。每次执行时都需要从磁盘读取数据,并且在计算完成后需要将中间结果写入到磁盘中,IO开销较大
  2. 延迟高。一次计算可能需要分解成一系列按顺序执行的MapReduce任务,任务之间的衔接由于涉及到IO开销,会产生较高延迟。而且,在前一个任务执行完成之前,其他任务无法开始,难以胜任复杂、多阶段的计算任务。

Spark主要具有如下优点:

  1. Spark的计算模式也属于MapReduce,但不局限于Map和Reduce操作,还提供了多种数据集操作类型,编程模型比MapReduce更灵活;
  2. Spark提供了内存计算,中间结果直接放到内存中,带来了更高的迭代运算效率;
  3. Spark基于DAG的任务调度执行机制,要优于MapReduce的迭代执行机制。

Spark最大的特点就是将计算数据、中间结果都存储在内存中,大大减少了IO开销

Spark提供了多种高层次、简洁的API,通常情况下,对于实现相同功能的应用程序,Spark的代码量要比Hadoop少2-5倍。

但Spark并不能完全替代Hadoop,主要用于替代Hadoop中的MapReduce计算模型。实际上,Spark已经很好地融入了Hadoop生态圈,并成为其中的重要一员,它可以借助于YARN实现资源调度管理,借助于HDFS实现分布式存储。

Spark基本概念

Spark几个重要的概念:

  • RDD:是弹性分布式数据集(Resilient Distributed Dataset)的简称,是分布式内存的一个抽象概念,提供了一种高度受限的共享内存模型;
  • DAG:是Directed Acyclic Graph(有向无环图)的简称,反映RDD之间的依赖关系;
  • Executor:是运行在工作节点(Worker Node)上的一个进程,负责运行任务,并为应用程序存储数据;
  • 应用:用户编写的Spark应用程序;
  • Task:一个作业包含多个RDD及作用于相应RDD上的各种操作;
  • Stage:是作业的基本调度单位,一个作业会分为多组任务,每组任务被称为“阶段”,或者也被称为“任务集”。

DAG

  • DAG 有向无环图(数据执行过程,有方法,无闭环)

  • DAG描述多个RDD的转换过程,任务执行时,可以按照DAG的描述,执行真正的计算(数据被操作的一个过程)

  • DAG是有边界的:开始(通过SparkContext创建的RDD),结束(触发Action,调用run Job就是一个完整的DAG就形成了,一旦触发Action就形成了一个完整的DAG)
    Spark运行流程_第1张图片

  • 一个RDD只是描述了数据计算过程中的一个环节,而DGA由一到多个RDD组成,描述了数据计算过程中的所有环节(过程)

  • 一个Spark Application中是有多少个DAG:一到多个(取决于触发了多少次Action)

Task 和 Stage 之间的关系

以WordCount为例(scala版本):

object WordCount {
	def main(args: Array[String]): Unit = {
		val conf = new SparkConf().setAppName(getClass.getSimpleName).setMaster("local[2]")
		val sc = new SparkContext(conf)
		
		val lines = sc.textFile(args(0))
		val words = lines.flatMap(_.split(" "))
		val wordAndOne = words.map(x => (x,1))
		val reduced = wordAndOne.reduceByKey(_ + _)
		reduced.saveAsTextFile(args(1))

		sc.stop()
		}
}

Spark运行流程_第2张图片

  1. sc.textFile(args(0))会从HDFS中读取文件数据,假设HDFS中有两个大小差不多的文件,而RDD有两个分区,那么就是一个分区读取一个文件;这句语句会创建出两个RDD:HadoopRDD和MapPartitionsRDD,HadoopRDD读取数据时会变成KV形式,而MapPartitionsRDD会将KV -> V
  2. flatMap() 和 Map() 都会创建出MapPartitionsRDD
  3. reduceByKey() 会创建ShuffledRDD,在shuffle阶段会有局部聚合和全局聚合两个步骤,局部聚合后会将中间结果存储在磁盘中,而全局聚合之前需要将中间结果读取出来再进行操作。
    shuffle是切分Stage的依据,图中的橙色线切分两个Stage。因为有两个分区所以Stage1和Stage2会各生成两个Task(一个分区一个Task),一共4个Task,一个Task包含多个RDD及作用于相应RDD上的各种操作
  4. saveAsTextFile(args(1))会生成MapPartitionsRDD,写入HDFS时会将V -> KV

Spark运行基本流程

Spark运行流程_第3张图片
四个步骤

  1. 构建DAG:调用RDD上的方法
  2. 切分Stage
    DAGScheduler:将一个DAG切分成一到多个Stage,DAGScheduler切分的依据是Shuffle(宽依赖);
    先提交前面的Stage,执行完后再提交后面的Stage;
    Stage会生成Task,一个Stage会生成很多业务逻辑相同的Task,然后Stage中生成的Task以TaskSet的形式给TaskScheduler
  3. 调度Task:TaskScheduler调度Task,将Task序列化,根据资源情况将Task调度到相应的Executor中
  4. 执行Task:Executor接收Task,先将Task反序列化,然后将Task用一个实现了Runnable接口的实现类包装起来,然后将该包装类丢入到线程池中,包装类的run方法就会被执行,进而调用Task的计算逻辑

为什么要切分Stage?

  • 一个复杂的业务逻辑(将多台机器上具有相同属性的数据聚合到一台机器上:shuffle)
  • 如果有shuffle,那么就意味着前面阶段产生的结果后,才能执行下一个阶段,下一个阶段的计算要依赖上一个阶段的数据。
  • 在同一个Stage中,会有多个算子,可以合并在一起,我们称其为pipeline(流水线:严格按照流程、顺序执行)

宽依赖:父RDD的一个分区的数据给了子RDD的多个分区,即使存在这种可能,也是宽依赖(有shuffle阶段的,例如groupByKey)

执行过程全流程(以WordCount为例)

Spark运行流程_第4张图片

你可能感兴趣的:(大数据,spark)