[ Spark ] Spark核心概念

Spark概述

1.Spark or Hadoop?

Hadoop的MapReduce和Spark同为计算框架,使用时如何选择?

​ 1)MR由于其设计初衷并不是为了满足循环迭代式数据流处理,因此在多并行运行的数据可复用场景(如:机器学习、图挖掘算法、交互式数据挖掘算法)中存在诸多计算效率等问题。Spark就是在传统的MapReduce 计算框架的基础上,利用其计算过程的优化,从而大大加快了数据分析、挖掘的运行和读写速度,并将计算单元缩小到更适合并行计算和重复使用的RDD。

​ 2)Spark所基于的scala语言恰恰擅长函数的处理。

​ 3)Spark是一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient Distributed Datasets),提供了比MapReduce丰富的模型,可以快速在内存中对数据集进行多次迭代,来支持复杂的数据挖掘算法和图形计算算法.

​ 4)Spark和Hadoop的根本差异是多个任务之间的数据通信问题 : Spark多个任务之间数据通信是基于内存,而Hadoop是基于磁盘。

​ 5)Spark Task的启动时间快。Spark采用fork线程的方式,而Hadoop采用创建新的进程的方式。

​ 6)Spark只有在shuffle的时候将数据写入磁盘,而Hadoop中多个MR作业之间的数据交互都要依赖于磁盘交互

​ 7)Spark的缓存机制比HDFS的缓存机制高效。

2.意味着Spark能完全替代MR?

​ Spark确实会比MapReduce更有优势。但是Spark是基于内存的,所以在实际的生产环境中,由于内存的限制,可能会由于内存资源不够导致Job执行失败,此时,MapReduce其实是一个更好的选择.

3.Spark核心模块

[ Spark ] Spark核心概念_第1张图片

Spark运行环境

[ Spark ] Spark核心概念_第2张图片

1.Local模式

​ 1)启动Local环境:进入解压缩后的路径,执行如下命令bin/spark-shell --master local[4]

​ 2)提交应用:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

1) --class 表示要执行程序的主类
2) --master local[2] 部署模式,默认为本地模式,数字表示分配的虚拟 CPU 核数量
3) spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包
4) 数字 10 表示程序的入口参数,用于设定当前应用的任务数量

2.Standalone模式

​ 1)只使用Spark自身节点运行的集群模式,也就是我们所谓的独立部署(Standalone)模式,Spark的Standalone模式体现了经典的master-slave模式。

​ 2)提交应用:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

格式:
bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]

​ 3)参数说明:

参数 解释 可选值举例
–class Spark程序中包含主函数的类
–master Spark程序运行的模式 本地模式:local[*]、spark://linux1:7077、Yarn
–executor-memory 1G 指定每个executor可用内存为1G 符合集群内存配置即可,具体情况具体分析。
–total-executor-cores 2 指定所有executor使用的cpu核数为2个
–executor-cores 指定每个executor使用的cpu核数
application-jar 打包好的应用jar,包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统,如果是file:// path,那么所有的节点的path都包含同样的jar
application-arguments 传给main()方法的参数

3.Yarn模式

​ 1)不同于独立部署模式下由Spark自身提供计算资源,降低了和其他第三方资源框架的耦合性,Spark主要是计算框架,而不是资源调度框架,因此强大的Yarn环境下Spark的工作更强.

​ 2)提交应用:

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

4.Windows模式

​ 1)启动本地环境:执行解压缩文件路径下bin目录中的spark-shell.cmd

​ 2)命令行提交应用:

spark-submit 
--class org.apache.spark.examples.SparkPi 
--master local[2] 
../examples/jars/spark-examples_2.11-2.4.5.jar 
10

5.部署模式对比

模式 Spark安装机器数 需启动的进程 所属者 应用场景
Local 1 Spark 测试
Standalone 3 Master及Worker Spark 单独部署
Yarn 1 Yarn及HDFS Hadoop 混合部署

Spark运行架构

1.运行架构

​ 采用了标准 master-slave 的结构,Driver表示master,负责管理整个集群中的作业任务调度。图形中的Executor 则是 slave,负责实际执行任务。

[ Spark ] Spark核心概念_第3张图片

2.核心组件

​ 1)Driver,驱动器节点,用于执行Spark任务中的main方法,负责实际代码的执行工作。

​ Driver在Spark作业执行时主要负责:①将用户程序转化为作业(job)②在Executor之间调度任务(task) ③跟踪Executor的执行情况 ④通过UI展示查询运行情况

​ 2)Executor,计算节点,一个JVM进程,作业中运行具体任务(Task),任务彼此之间相互独立。始终伴随着整个 Spark 应用的生命周期而存在。

​ Executor有两个核心功能:①负责运行组成Spark应用的任务,并将结果返回给驱动器进程 ②它们通过自身的块管理器(Block Manager)为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在Executor进程内的,因此任务可以在运行时充分利用缓存数据加速运算。

​ 3)Master&Worker,Spark集群的独立部署环境中的两个核心组件.

​ Master是一个进程,主要负责资源的调度和分配,并进行集群的监控等职责,类似于Yarn环境中的RM, Worker也是进程,一个Worker运行在集群中的一台服务器上,由Master分配资源对数据进行并行的处理和计算,类似于Yarn环境中NM。

​ 4)ApplicationMaster,yarn模式下用户向yarn集群提交应用时,用于向资源调度器申请执行任务的资源容器Container,运行用户自己的程序任务job,监控整个任务的执行,跟踪整个任务的状态,处理任务失败等异常情况。

​ 简言之,RM(资源)和Driver(计算)之间的解耦合靠的就是ApplicationMaster。

提交流程

Spark应用程序提交到Yarn环境中执行的时候,一般会有两种部署执行的方式:Client和Cluster。两种模式,主要区别在于:Driver程序的运行节点。

[ Spark ] Spark核心概念_第4张图片

​ 1)在YARN Cluster模式下,任务提交后会和ResourceManager通讯申请启动ApplicationMaster,
​ 2)随后ResourceManager分配container,在合适的NodeManager上启动ApplicationMaster,此时的ApplicationMaster就是Driver。
​ 3)Driver启动后向ResourceManager申请Executor内存,ResourceManager接到ApplicationMaster的资源申请后会分配container,然后在合适的NodeManager上启动Executor进程
​ 4)Executor进程启动后会向Driver反向注册,Executor全部注册完成后Driver开始执行main函数,
​ 5)之后执行到Action算子时,触发一个Job,并根据宽依赖开始划分stage,每个stage生成对应的TaskSet,之后将task分发到各个Executor上执行。

你可能感兴趣的:(Spark,spark,big,data,hadoop)