SparkCore之RDD详解

1. 什么是RDD

简介: RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。 Spark所有的运算以及操作都建立在 RDD 数据结构的基础之上。

• 官网截图解释:
  

• Dataset：一个数据集合，用于存放数据的。

• Distributed：RDD中的数据是分布式存储的，可用于分布式计算。

• Resilient：RDD中的数据可以存储在内存中或者磁盘中。

设计核心:

拆分核心要点三个方面：

• 可以认为RDD是分布式的列表List或数组Array，抽象的数据结构，RDD是一个抽象类Abstract Class和泛型Generic Type：
  

2.为什么会出现RDD

想想在没有RDD之前:

• MR使用代码实现数据分析处理–缺点使用的大量的代码，复杂
• Hive使用Hql实现数据分析，摆脱了Mr的繁琐的代码，速度还是慢
• Spark-Impala以内存为首的计算框架，将数据尽量放在内存中

RDD是Spark的基石，是实现Spark数据处理的核心抽象,所有的运算以及操作都建立在 RDD 数据结构的基础之上。

• RDD提供了一个抽象的数据模型，让我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换操作(函数)，不同RDD之间的转换操作之间还可以形成依赖关系，进而实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销，并且还提供了更多的API(map/reduec/filter/groupBy…)

小结: RDD将Spark的底层的细节都隐藏起来了(自动容错、位置感知、任务调度执行，失败重试…)
让开发者可以像操作本地集合一样以函数式编程的方式操作RDD这个分布式数据集进行各种并行计算

3.RDD的5大属性特点(这个很重点)

ctrl + n RDD看源码如下:

前三个特征每个RDD都具备的，后两个特征可选的。

• 第一个：A list of partitions

1. 一组分片(Partition)/一个分区(Partition)列表，即数据集的基本组成单位；
2. 对于RDD来说，每个分片都会被一个计算任务处理，分片数决定并行度；
3. 用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值；
   

• 第二个: A function for computing each split

1. 一个函数会被作用在每一个分区；
2. Spark中RDD的计算是以分片为单位的，compute函数会被作用到每个分区上;
   

• 第三个：A list of dependencies on other RDDs

1. 一个RDD会依赖于其他多个RDD；
2. RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算（Spark的容错机制）；
   

• 第四个：Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

1. 可选项,对于KeyValue类型的RDD会有一个Partitioner，即RDD的分区函数；
2. 当前Spark中实现了两种类型的分区函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。
3. 只有对于于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。
4. Partitioner函数不但决定了RDD本身的分片数量，也决定了parent RDD Shuffle输出时的分片数量。
   

• 第五个：Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

1. 可选项，一个列表，存储存取每个Partition的优先位置(preferred location)；
2. 按照"移动数据不如移动计算"的理念，Spark在进行任务调度的时候，会尽可能选择那些存有数据的worker节点来进行任务计算。（数据本地性）
   
   RDD 是一个数据集的表示，不仅表示了数据集，还表示了这个数据集从哪来、如何计算，主要属性包括五个方面（必须牢记，通过编码加深理解，面试常问）

总结:

• 1 分区列表: 一个RDD由多个分区构成
• 2 计算函数: 每一个RDD都有对应的计算函数
• 3 依赖关系: 每一个RDD相互依赖(血缘关系),为了容错考虑
• 4 分区函数: key-value类型的数据
• 5 最佳位置: 位置优先性,移动计算不要移动存储