spark 精华总结

面试题： Hadoop 的基于进程的计算和 Spark 基于线程方式优缺点？

答案： Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没

有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加

载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行

单位，但缺点是线程之间会有资源竞争。

【扩展阅读】：线程基本概念

 线程是 CPU 的基本调度单位

 一个进程一般包含多个线程 , 一个进程下的多个线程共享进程的资源

 不同进程之间的线程相互不可见

 线程不能独立执行

 一个线程可以创建和撤销另外一个线程

速度快

由于Apache Spark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比

Hadoop的MapReduce快100倍，在硬盘中要快10倍

Spark 处理数据与 MapReduce 处理数据相比，有如下两个不同点：

 其一、 Spark 处理数据时，可以将中间处理结果数据存储到内存中；

 其二、 Spark 提供了非常丰富的算子 (API), 可以做到复杂任务在一个 Spark 程序中完成

易于使用

Spark 的版本已经更新到 Spark 3.2.0（截止日期2021.10.13），支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了

兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。

通用性强

在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝

地使用这些工具库

Spark Core ： Spark 的核心， Spark 核心功能均由 Spark Core 模块提供，是 Spark 运行的基础。 Spark Core 以 RDD 为数据抽象，提供 Python 、 Java 、

Scala 、 R 语言的 API ，可以编程进行海量离线数据批处理计算。

SparkSQL ：基于 SparkCore 之上，提供结构化数据的处理模块。 SparkSQL 支持以 SQL 语言对数据进行处理， SparkSQL 本身针对离线计算场景。同

时基于 SparkSQL ， Spark 提供了 StructuredStreaming 模块，可以以 SparkSQL 为基础，进行数据的流式计算。

SparkStreaming ：以 SparkCore 为基础，提供数据的流式计算功能。

MLlib ：以 SparkCore 为基础，进行机器学习计算，内置了大量的机器学习库和 API 算法等。方便用户以分布式计算的模式进行机器学习计算。

GraphX ：以 SparkCore 为基础，进行图计算，提供了大量的图计算 API ，方便用于以分布式计算模式进行图计算。

Spark提供多种运行模式，包括：

 本地模式（单机）

本地模式就是以一个 独立的进程 ，通过其内部的 多个线程来模拟 整个Spark运行时环境

 Standalone模式（集群）

Spark中的各个角色以 独立进程 的形式存在，并组成Spark集群环境

 Hadoop YARN模式（集群）

Spark中的各个角色 运行在 YARN 的容器内部 ，并组成Spark集群环境

- Kubernetes模式（容器集群）

Spark中的各个角色 运行在 Kubernetes 的容器内部 ，并组成Spark集群环境

- 云服务模式（运行在云平台上）