第10章 Spark

10.1 Spark概述

10.1.1 Spark简介

历史发展
2009年，Spark起源于加州伯克利大学的AMP实验使，基于内存的大数据并行计算框架。
2013年，Spark加入Apache孵化器，目前已成为三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）
2014年，打破Hadoop的排序记录
特点
（1）运行速度快：使用DAG调度机制，比MR的迭代计算快
（2）易用性：支持Scala、Java、Python、R等，以及Spark-Shell
（3）软件栈：SQL查询、流式计算、机器学习、图算法
（4）运行模式多样：独立的集群模式、运行于Hadoop、可访问HDFS、HBase、Hive等

10.1.2 Scala简介

多范式编程语言，运行于JVM，兼容Java。
略

10.1.3 Spark与Hadoop对比

Hadoop的缺点：
（1）表达能力有限：MR不适合所有的情况
（2）中间结果写入磁盘导致IO开销巨大及延迟高等问题
Spark优点
（1）计算模式属于MR，但提供了更多的数据集操作类型，如map、过滤、连接等
（2）基于内存计算，效率高
（3）基于DAG的任务调度机制，效率要比MR高的多
在迭代计算场景下，相同的任务Spark耗时不到Hadoop的百分之一

10.2 Spark生态系统

大数据处理的三个类型
（1）复杂的离线批量数据处理，一般分钟级到小时级
（2）基于历史数据的交互式查询，一般秒级到数分钟
（3）基于实时的数据流处理，一般要求毫秒级
目前，Hadoop针对以上三种场景的工具可以说分别是MR/Impala/Storm
Spark则单独提供了一个软件栈，主要包括了Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。
Spark Core：实现Spark的基本功能，包括内存计算、任务调度、部署模式、故障恢复、存储管理等。主要面向批数据处理。
Spark SQL：略。后续略。

10.3 Spark运行架构

10.3.1 基本概念

① RDD：分布式内存的抽象概念
② DAG：有向无环图，反映RDD的依赖关系
③ Executor：运行在工作节点上的一个进程
④ Task：运行再Executor上的工作单元
⑤ Job：一个Job包含多个RDD及作用于相应RDD上的各种操作
⑥ Stage：是Job的基本调度单位，一个Job倍分为多组Task，每组Task称为Stage，所以Stage也被称为TaskSet，代表一组关联的、相互之间没有Shuffle依赖关系的任务组成的任务集.

10.3.2 架构设计

Spark运行架构

10.3.3 Spark运行流程

Spark运行基本流程图

（1）Spark任务被提交：Driver端创建SparkContext，由SC负责和资源管理器的通信、资源申请、任务分配、监控等
（2）资源管理器为Executor分配资源、启动Executor进程，Executor以心跳方式向资源管理器汇报
（3）SC根据RDD依赖关系构建DAG，DAG提交给DAG调度器，DAG调度器把DAG解析分解成多个Stage。然后Stage被提交给任务调度器，任务调度器把任务发到Executor。
（4）Executor运行Stage，并把结果发送给任务调度器，饭后返回给DAG调度器

10.3.4 RDD运行原理

1.设计背景
许多迭代算法会重复使用中间结果，但MR框架都把中间结果写入到HDFS，带来数据复制、磁盘IO、序列化等开销。
为解决上述问题，RDD提供抽象的数据架构，不同RDD之间的转换操作形成依赖关系，从而实现管道化，防止了频繁的写入读出操作。
2. 概念
一个RDD本质是一个分布式对象集合，本质是一个只读的分区记录集合。
每个RDD可分成多个分区，每个分区就是一个数据集片段，不同分区在集群不同的节点上。
RDD提供一组常见的操作，分为动作和转换两大类，其中转换包括map、filter、groupBy、join等操作，动作则包括count、collect等。
一个典型的RDD执行过程包括三个步骤：① 从外部数据读入，形成RDD，② 经过一系列转换操作，每次转换产生新的RDD，供下一次转换操作使用，③ 最后一个RDD经行动操作处理，输出到外部数据源。
3. 特性
① 高效容错性：通过冗余、备份、日志分析等方式进行容错，在数据密集型场景下代价巨大。RDD设计则带来了天生的容错性，因为若数据出错，根据DAG图重新算一遍即可了。
② 中间结果全在内存中，效率高，且避免了不必要的序列化和反序列化开销。
4. RDD之间的依赖关系
分为宽依赖和窄依赖两种。

窄依赖与宽依赖

窄依赖：一个 父RDD的分区只对应于 一个子RDD的分区。可能存在 多个父RDD的分区对应于 一个子RDD的分区，但不存在 一个父RDD的分区对应 多个子RDD的分区的情况。
宽依赖：存在 一个父RDD的分区对应 多个子RDD的分区的情况的，就叫宽依赖。
说白了，宽依赖通常伴随着Shuffle操作。
5. Stage划分
Spark通过RDD依赖关系生成DAG后，通过依赖关系划分Stage。划分方法为： 遇到宽依赖就断开。窄依赖形成流水线计算。划分后Stage分为以下两种类型。
ShuffleMapStage：中间的Stage，以宽依赖为边界，不一定有。
ResultStage：最终的Stage

10.4 Spark SQL

与Hive关系：依赖HiveQL解析及Hive的元数据。