Spark框架概述
Spark 框架概述
1.1. Spark是什么
定义：Apache Spark是用于大规模数据处理的统一分析引擎。
弹性分布式数据集RDD是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个Spark的核心数据结构，Spark整个平台都围绕着RDD进行。
简而言之，Spark借鉴了MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。
统一分析引擎？
Spark是一款分布式内存计算的统一分析引擎。
其特点就是对任意类型的数据进行自定义计算。
Spark可以计算：结构化、半结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言区开发应用程序计算数据。
Spark的适用面非常广泛，所以，被称之为统一的（适用面广）的分析引擎（数据处理）
1.2. Spark风雨十年
Spark是加州大学伯克利分校AMP实验室开发的通用大数据处理框架。Spark的发展历史，经历过几大重要阶段，如下图所示：
Stack Overflow的数据可以看出，2015年开始Spark每月的问题提交数量也已经超过Hadoop。2019年排名Spark第一，PySpark第二；而十年的累计排名是Spark第一，PySpark第三。按照这个趋势发展下去，Spark和PySpark在未来很长一段时间内应该还会处于垄断地位。
1.3. Spark VS Hadoop(MapReduce)
Spark和Hadoop技术栈有何区别呢？
| Hadoop | Spark | |
|---|---|---|
| 类型 | 基础平台，包含计算、存储、调度 | 纯计算工具（分布式） |
| 场景 | 海量数据处理（硬盘迭代计算） | 海量数据的批处理（内存迭代计算、交互式计算）、海量数据流计算 |
| 价格 | 对机器需求低、便宜 | 对内存有要求，相对较贵 |
| 编程范式 | Map + Value，API较为底层，算法适应性差 | RDD中间运算结果在内存中，延迟小 |
| 数据存储结构 | MapReduce中间计算计算结果在HDFS磁盘上，延迟大 | RDD中间运算结果在内存中，延迟小 |
| 运行方式 | Task以进程方式维护，任务启动慢 | Task以线程方式维护，任务启动快，可批量传教提高并行能力 |
尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop
- 在计算层面，Spark相比较MR(MapReduce)有巨大的性能优势，但至今任有许多计算工具基于MR架构，比如非常熟悉的Hive
- Spark仅做计算，而Hadoop生态圈不仅有计算（MR）也有存储（HDFS）和资源管理调度（YARN），HDFS和YARN仍是许多大数据体系的核心架构。
1.4. Spark四大特点
- 运行速度快
- 易于使用
- 通用性强
- 适用环境广
速度快
由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。
Spark处理数据与MapReduce处理的数据相比，有如下两个不同点：
- 其一、Spark处理数据时，可以将中间处理结果数据存储到内存中；
- 其二、Spark提供了非常丰富的算子（API），可以做到复杂任务在一个Spark程序中完成。
易于使用
Spark的版本已经更新到Spark 3.3.1 (截至日期2022.11.15)，支持了包括Java、Scala、Python、R和SQK语言在内的多种语言，为了兼容Spark2.x企业应用场景，Spark仍然持续更新Spark2版本。
df = spark.read.json("logs.json")
df.where("age > 21").select("name.firest").show()
通用性强
在Spark的基础上，Spark还提供了包括Spark SQL、Spark Streaming、MLlib及GraphX在内的多个工具库，我们可以在一个应用中无缝地使用这些工具库。
运行方式
Spark支持多种运行方式，包括在Hadoop和Mesos上，也支持Standalone的独立运行模式，同时也可以运行在云Kuberbetes上。
对于数据源而言，Spark支持从HDFS、HBase、Cassandra及Kafka等多种途径获取数据。
1.5. Spark框架模块简述
整个Spark框架模块包含：Spark Core、Spark SQL、 Spark Streaming、Spark GraphX、Spark MLlib，而后四项的能力都是建立在核心引擎之上。
Spark Core: Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。SparkCore以RDD为数据抽象，提供Python、Java、Scala、R语言的API，可以编程进行海量离线数据批处理计算。
SparkSQL： 基于SparkCore之上，提供结构化数据的处理模块。可以以SparkSQL为基础，进行数据的流式计算。
SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。
MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。
GraphX: 以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。
1.6. Spark的运行模式
Spark提供多种运行模式，包括：
- 本地模式（单机）
- Standalone模式（集群）
- Hadoop YARN模式（集群）
- Kubernetes模式（容器集群）
- 云服务模式（运行在云平台）
- …
1.7. Spark的架构角色
Spark运行角色
Spark中由4类角色组成整个Spark的运行时环境：
- Master角色，管理整个集群的资源
- Worker角色，管理单个服务器的资源
- Driver角色，管理单个Spark任务在运行的时候的工作
- Executor角色，单个任务运行的的时候的一堆工作者，干活的。
从两个层面划分：
资源管理层面：
- 管理者: Spark是Master角色，YARN是ResourceManger
- 工作中：Spark是Work角色，YARM是NodeManger
从任务执行层面：
- 某任务管理者：Spark是Driver角色，YARN是ApplicationMaster
- 某任务执行者：Spark是Executor角色，YARN是容器中运行的具体工作进程
注：正常情况下Executor是干活的角色，不过在特殊场景下（Local模式）Driver可以即管理又干活。
Spark解决了什么问题？
海量数据的计算，可以进行离线批处理以及实时流计算
Spark有哪些模块？
核心SparkCore、SQL计算（SparkSQL）、流计算（SparkStreaming）、图计算（GraphX）、机器学习（MLlib）
Spark特点有哪些？
速度快、使用简单、通用性强、多种模式运行
Spark的运行模式？
- 本地模式
- 集群模式（StandAlone、YARN、K8S）
- 云模式
Spark的运行角色（对比YARN）？
-
Master：集群资源管理 （类同ResourceManager）
-
Worker： 单机资源管理 (类同NodeManager)
-
Driver：单任务管理者 （类同ApplicationMaster）
-
Executor：但认为执行者 (类同YARN容器内的Task)
k的运行角色（对比YARN）？ -
Master：集群资源管理 （类同ResourceManager）
-
Worker： 单机资源管理 (类同NodeManager)
-
Driver：单任务管理者 （类同ApplicationMaster）
-
Executor：但认为执行者 (类同YARN容器内的Task)