第一讲 spark简介

本章要点:

  • 什么是spark
  • Spark生态圈
  • RDD编程模型

1.1 什么是Spark

Apache Spark是一个由加州大学伯克利分校开发的一站式通用大数据框架,是围绕速度、易用性和复杂分析构建的大数据处理框架。Spark的核心技术是弹性分布式数据集(Resilient Distributes Dataset,RDD),提供了更加丰富的MapReduce模型,拥有Hadoop MapReduce的所有优点,但是与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark还有如下优势:Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求,还支持复杂的机器学习。

1.2 Spark 生态圈

Spark是基于RDD,提供了一站式多维度的大数据计算模型。可以在一个技术栈里快速对数据进行批处理、即席查询、机器学习、图计算和准实时流处理等。Spark整个生态系统与称为伯克利数据分析栈(RDAS)。其核心框架是Spark,同时BDAS涵盖支持数据结构化数据SQL查询与分析的查询引擎Spark SQL,提供具有机器学习功能的系统MLbase及底层的分布式机器学习库MLlib、并行图计算框架GraphX、流计算框架Spark Streaming、采样近似计算查询引擎BlinkDB、内存分布式文件系统Tachyon、资源管理框架Mesos等子项目。这些子项目在Spark上层提供了更高层、更丰富的计算范式。

Spark架构图如下:

spark.jpg

  • Spark Core:包含Spark的基本功能;尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的
  • Spark SQL:提供通过Apache Hive的SQL变体Hive查询语言(HiveQL)与Spark进行交互的API。每个数据库表被当做一个RDD,Spark SQL查询被转换为Spark操作。
  • Spark Streaming:对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据
  • MLlib:一个常用机器学习算法库,算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法,比如分类、回归等需要对大量数据集进行迭代的操作。
  • GraphX:控制图、并行图操作和计算的一组算法和工具的集合。-GraphX扩展了RDD API,包含控制图、创建子图、访问路径上所有顶点的操作。

RDD 即 Resilient Distributes Dataset(弹性分布数据集), 是spark中最基础、最常用的数据结构。其本质是把input source 进行封装,封装之后的数据结构就是RDD,提供了一系列操作,比如 map、flatMap、filter等。input source种类繁多,比如hdfs上存储的文件、本地存储的文件,相应的 RDD的种类也有很多。不同的input source 对应着不同的RDD类型。比如从hdfs上读取的text对应着HadoopRDD, val hRdd= sc.textFile(“hfs://…….”) 生成的就是HadoopRDD。

1.3 RDD

Spark的理论基础是RDD,RDD让Spark实现了"one stack to rule them all" (一个技术堆栈统一数据处理)的目标。

1.3.1 RDD抽象概念

RDD是弹性分布式数据集的简称,是一个抽象的概念。它主要有以下五个特征:

  • 一个分片列表 partition list
  • 一个计算函数compute,对每一个split(分片)进行计算
  • 对其他RDD的依赖列表dependencies list;依赖又分宽依赖和窄依赖。(可容错)
  • partitioner for key-value RDDs.比如说 hash-partitioned rdd(这是可选的,并不是所有的add都会有这个特征)
  • 对每一个split计算的优先位置 Preferred Location。比如对一个hdfs文件进行计算时,可以获取优先计算的block locations。
    为了便于理解RDD,这里给出比较通俗易懂的描述:
  1. 首先RDD的定义为RDD[T],可以将RDD理解成T实例的一个集合
  2. 对应的分区就是将这一组T实例的集合拆分成多个子集,这的子集就是数据分区。数据以Block,即块方式存储在HDFS上,加载后,在Spark中,子集合实际上对应着分区的概念。分区就是将对应大数据量的T实例集合切成多个小数据量的T实例子集合。这个集合,对应的内部代码其实就是Iterator[T]
  3. 用户构建该RDD的父RDD即是该RDD的父依赖,由于可以有多个父依赖的RDD因此有对应父RDD的一个依赖列表。
  4. 计算每个分片的函数compute,体现了惰性计算的特性,比如:MapPartionsRDD,对应的compute函数记录了该RDD对父依赖的各个分区的操作,也就是记录了对MapPartionsRDD各个分区的输入员数据进行的计算。
  5. Key - Value RDD,其实就是T类型为Key - Vaule对的类型。
1.3.2 RDD的操作

RDD的操作分为两类:Transformation与Action。其中Transformation是惰性执行的,惰性执行表示真正需要的时候才会执行,这里实在需要具体的Action去触发才会开始执行,每个Action的触发都会提交一个Job。

一个典型的操作流程图:


RDD操作流程.png
  1. 首先通过textFile操作从外部存储系统HDFS中读取文件,构建出两个RDD实例A和C;
  2. 然后A做flapMap和Map转换操作,对C做Map型操作和reduceByKey转换操作;
  3. 最后对得到的B和E两个做联合操作,并通过saveAsSequenceFile操作将最终的F实例持久化到外部存储系统HDFS上。
    Transformation和Action这两者的区别可以从它们的返回值查看,Transformation是将一个RDD转换为新的RDD,而Action操作会将结果反馈到Driver Program或者存储到外部存储系统上。
1.3.3 RDD 的依赖关系

RDD的依赖分为债依赖和宽依赖,如图:


依赖.png
  • 其中每一个方框表示一个RDD,其内的阴影表示RDD的分区。
  • 对于窄依赖,可以进行pipeline操作,即允许在单个集群节点上流水线式的执行,这个节点可以计算所有父级分区。
  • 而在节点失败后的恢复效率上,在窄依赖中,只有在失败节点上丢失的父级分区需要重新计算,并且这些丢失的父级分区可以并行的在不同的节点上重新计算。与此相反,在宽依赖的继承关系中,单个失败的节点可能导致一个RDD的所有祖先RDD中的一些分区丢失,导致计算的重新执行。

对于RDD依赖可以从以下两个方面理解:

  1. 依赖本身是描述两个RDD之间的关系。但一个RDD可以与多个RDD有依赖关系。
  2. 宽依赖和窄依赖的判断:在RDD的各个分区中对父RDD的分区的依赖关系
    -> 窄依赖:子RDD的每个分区依赖于常数个父分区(与数据规模无关)
    -> 宽依赖:子RDD的每个分区依赖于所有的父RDD的分区

1.3.4 一个典型的DAG

Spark将数据在分布式环境下分区,然后讲作业转化为DAG,并分阶段进行DAG的调度和任务的分布式并行处理。
DAG典型示意图如下:


DAG.png

描述了DAG调度时会根据Shuffle将Job划分为Stage,比如A到B之间,以及F到G之间的数据需要经过Shuffle过程,因此A和F是stage的划分点,以及RDD的Lineage(血统)关系。其中,实线圆角方框标识的是RDD,方框中的矩形块为分区。
这里通过G和F这两个RDD间的依赖关系,描述了如何执行Stage。如上图,RDD G对F的依赖为宽依赖,即对应有Shuffle过程,因为对于G这个RDD就会创建一个Stage,这里是Stage3。
RDD的Lineage关系,可以从族谱角度去理解。即描述了RDD是从哪来的,以及怎么来的信息。
RDD G上一个Action的执行将会以宽依赖作为基于为分区来建构各个Stage,对各Stage内部的窄依赖则前后连接构成流水线。
Spark通过Lineage机制实现高容错,基于DAG图,Lineage是轻量级而高效的,操作之间相互具备Lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个分片或分区即可。
DAG的Lineage 机制可以从两个方面进行理解:

  1. RDD之间的数据流图,即RDD的各个分区的数据是从哪来的
  2. 基于数据流图之上的操作算子流图,即这些数据传递过来的时候经过哪些算子的操作

可以从RDD的抽象概念来解析Lineage的这两个方面的特性:

  1. RDD的分区列表(数据块列表)和对父RDD的依赖列表:对应RDD类的getPartion和getDependencies,这两个方法记录了改RDD的数据来源,以及来源数据如何获取(对应窄依赖和宽依赖)
    其中,RDD各个分区的数据来源可以从外部存储系统或Scala数据集获取,也可以从其他父RDD获取。
  2. 计算每个分片的函数:对应RDD类的compute方法,该方法记录了该RDD对它各个分区的数据来源进行的计算。

你可能感兴趣的:(第一讲 spark简介)