Sprak学习之RDD五大特性

RDD Resillient Distributed Dataset 即为弹性分布式数据集 

在spark中有五大特性

1：a list of partiotioner 有着partiotioner集合  partiotioner是一个具体概念指在一个节点中的连续的空间。一个partiotioner肯定使在一个节点上，但是一个节点上会有着好几个partiotioner.

2:a function for partiotioner 每一个partiotioner都有着一个函数对其进行运算。这也是spark并行计算的基础。

3：a list of dependencies on others RDDS RDD中间有着一系列的相互依赖。因为众所周知RDD是基于内存的运算的，虽然基于内存运算可以带来比较快的速度，但是相对应而来的便是容错性不好，因为随着一个节点的宕机，随之而来的是内存中的数据全部丢失。所以RDD这一特性也是RDD机制中容错性的一个保证。因为在spark并行计算中，是由着不同的RDD相互转换来进行的，如果其中一条线断了,RDD这个特性会去找上层RDD，如果找不到会一直追寻到顶层的元数据来重新运算。

4：optionally ,a partitioner for key-value RDDS，可以对每一个partitioner进行再次分区。但是这个特性的先决条件是RDD必须是键值对格式的。

5：数据本地性。

RDD调度，在RDD的执行中总共分为两种类型 一种延迟执行一种是立即执行。在编译代码的时候，遇见延迟执行会放置进行，等遇见立即执行的触发之后，会将该段代码封装成一个JOB立即执行。