spark原著

由于数据量的增长，应用需扩展到集群模式，但是可编程的集群带来了一些挑战。

1. 并行化，以并行方式重写应用
2. 容错，集群下节点故障和慢节点变为常态
3. 动态扩展与缩减资源

现存在编程模型：

MapReduce 批处理计算模型
Pregel 图处理模型
Strom/impala 流式处理模型

spark的不同之处是，设计一个统一的编程抽象模型

spark优势：

1. 支持批处理，交互式，迭代和流计算，而且比单一模式系统性能更高。
2. 以小代价提供节点故障和慢节点容忍功能。
3. 允许弹性扩缩容和响应式共享资源
4. 性能比mapReduce高100倍。

RDDs的实现后，可以基于它来实现一栈式的大数据系统

专业系统的缺点：

1. 每一个专业系统都需要解决重叠的需求，例如分布式，容错性。所以他们存在重复新工作。
2. 不同系统的组合计算昂贵又笨重，对于大数据来说数据的迁移是特别耗费资源。
3. 资源共享难，大多数引擎运行期间拥有自己一套系统。
4. 管理复杂，需要学习更多的API和执行模型

RDDs优点

1. 计算中的数据共享，虽然那些看似不适合MapReduce计算任务，例如迭代，交互性，流处理之间存在明显的不同，其实他们要求在计算阶段具有高效的数据共享，这也是RDDs优于MapReduce的地方。
2. 避免复制的容错分布式存储概念，独立计算模型的存储概念只有提供可复制文件系统的概念，RDDs提供了 避免 复制的容错分布式存储概念，每一个 RDD 都会记住由构建它的那些操作所
   构成的一个图，类似于批处理计算模型，可以有效地 重新 计算因故障丢失的数据。

弹性分布数据集(RDD)

mapreduce编程模型随着集群负载的增加，出现低效率问题。

发现，很多数据流模型在计算中需要高效的数据共享，都需要多次访问相同的数据集。

但是，两个mapreduce作业之间共享数据只有一个办法，就是将其写入一个稳定的外部存储系统（HDFS）,这会进行数据备份，磁盘I/O和序列化，这会占用大量时间。

RDDs可以直接控制数据的共享，具有可容错并行数据共享

现有的基于集群内存的存储抽象，都是基于细粒度更新接口（表中单元格更新），容错的方法只能是主机间复制数据，或者记录更新日志，会产生很高的代价。

RDD提供的是粗粒度变换的接口（map,filter），该接口会将操作应用到多个数据集上,只需要记录变换而不需要存储真正的数据，提高容错性。

RDD 编程接口

RDD是一个分区的只读记录集合。通过对稳定存储上的数据进行transform(变换)操作，而得到一个或多个RDD,然后调用action(动作)操作，这类操作
的目的或是返回一个值，或是将数据导入到存储系统。，Spark 直到RDD第一次调用一个动作时才真正计算 RDD。这也就使得 Spark
可以按序缓存多个变换.transform也被称为惰性操作。 当然也可以直接调用持久化方法，调用过
persist 的 RDD 存在内存中。
例如：

errors = lines.filter(_.startsWith(MERROR"))
errors.persist() 

spark与传统分布式对比：

spark3.png

Spark 运行时，用户的驱动程序启动多个 worker，worker 从分布式文件系统中读
取数据模块，并且可以将计算好的 RDD 分区持久化到内存中。

RDDs的缺陷

RDDS 不太适用于通过异步细粒度更新来
共享状态的应用，比如针对 Web 应用或增量网络爬虫的存储系统。对于这些应用，那些传统
的更新日志和数据检查点的系统会更有效

抽象RDD

一个RDD要尽可能多的提供各种RDD的变换操作，并允许用户进行随意的组合。

我们提供一个通用的接口来抽象每一个RDD,这个抽象的RDD封装5种信息：

1. 分区，
2. 依赖关系，依赖关系分为窄依赖(父RDD最多有一个子RDD使用，例如map)宽依赖(多个子分区依赖一个RDD,例flatmap)

这两种依赖的的区别从两个方面来说比较有用。首先，窄依赖允许在单个集群节点上流水线式执行，这个节点可以计算所有父级分区。例如，可以逐个元素地依次执行filter操作和map操作。相反，宽依赖需要所有的父RDD数据可用并且数据已经通过类 MapReduce的操作shuffle完成。其次，在窄依赖中，节点失败后的恢复更加高效。因为只有丢失的父级分区需要重新计算，并且这些丢失的父级分区可以并行地在不同节点上重新计算。与此相反，在宽依赖的继承关系中，单个失败的节点可能导致一个 RDD 的所有先祖RDD中的一些分区丢失，导致计算的重新执行。

内存管理

Spark提供三种持久化RDD存储策略：未序列化Java对象存于内存中，序列化后数据存于内存以及磁盘存储。

RDD特性：

1. 在一个集群中对任意记录具有不变性的存储
2. 通过每一条记录的key来控制数据分区
3. 将粗粒度用于分区操作
4. 利用内存存储的低延迟特性