spark原著

由于数据量的增长,应用需扩展到集群模式,但是可编程的集群带来了一些挑战。

  1. 并行化,以并行方式重写应用
  2. 容错,集群下节点故障和慢节点变为常态
  3. 动态扩展与缩减资源

现存在编程模型:

MapReduce 批处理计算模型
Pregel 图处理模型
Strom/impala 流式处理模型

spark的不同之处是,设计一个统一的编程抽象模型

spark优势:

  1. 支持批处理,交互式,迭代和流计算,而且比单一模式系统性能更高。
  2. 以小代价提供节点故障和慢节点容忍功能。
  3. 允许弹性扩缩容和响应式共享资源
  4. 性能比mapReduce高100倍。
RDDs的实现后,可以基于它来实现一栈式的大数据系统

专业系统的缺点:

  1. 每一个专业系统都需要解决重叠的需求,例如分布式,容错性。所以他们存在重复新工作。
  2. 不同系统的组合计算昂贵又笨重,对于大数据来说数据的迁移是特别耗费资源。
  3. 资源共享难,大多数引擎运行期间拥有自己一套系统。
  4. 管理复杂,需要学习更多的API和执行模型

RDDs优点

  1. 计算中的数据共享,虽然那些看似不适合MapReduce计算任务,例如迭代,交互性,流处理之间存在明显的不同,其实他们要求在计算阶段具有高效的数据共享,这也是RDDs优于MapReduce的地方。
  2. 避免复制的容错分布式存储概念,独立计算模型的存储概念只有提供可复制文件系统的概念,RDDs提供了 避免 复制的容错分布式存储概念,每一个 RDD 都会记住由构建它的那些操作所
    构成的一个图,类似于批处理计算模型,可以有效地 重新 计算因故障丢失的数据。

弹性分布数据集(RDD)

mapreduce编程模型随着集群负载的增加,出现低效率问题。

发现,很多数据流模型在计算中需要高效的数据共享,都需要多次访问相同的数据集。

但是,两个mapreduce作业之间共享数据只有一个办法,就是将其写入一个稳定的外部存储系统(HDFS),这会进行数据备份,磁盘I/O和序列化,这会占用大量时间。

RDDs可以直接控制数据的共享,具有可容错并行数据共享

现有的基于集群内存的存储抽象,都是基于细粒度更新接口(表中单元格更新),容错的方法只能是主机间复制数据,或者记录更新日志,会产生很高的代价。

RDD提供的是粗粒度变换的接口(map,filter),该接口会将操作应用到多个数据集上,只需要记录变换而不需要存储真正的数据,提高容错性。

RDD 编程接口

RDD是一个分区的只读记录集合。通过对稳定存储上的数据进行transform(变换)操作,而得到一个或多个RDD,然后调用action(动作)操作,这类操作
的目的或是返回一个值,或是将数据导入到存储系统。,Spark 直到RDD第一次调用一个动作时才真正计算 RDD。这也就使得 Spark
可以按序缓存多个变换.transform也被称为惰性操作。 当然也可以直接调用持久化方法,调用过
persist 的 RDD 存在内存中。
例如:

errors = lines.filter(_.startsWith(MERROR"))
errors.persist() 

spark与传统分布式对比:

spark原著_第1张图片
spark3.png

Spark 运行时,用户的驱动程序启动多个 worker,worker 从分布式文件系统中读
取数据模块,并且可以将计算好的 RDD 分区持久化到内存中。

RDDs的缺陷

RDDS 不太适用于通过异步细粒度更新来
共享状态的应用,比如针对 Web 应用或增量网络爬虫的存储系统。对于这些应用,那些传统
的更新日志和数据检查点的系统会更有效

抽象RDD

一个RDD要尽可能多的提供各种RDD的变换操作,并允许用户进行随意的组合。

我们提供一个通用的接口来抽象每一个RDD,这个抽象的RDD封装5种信息:

  1. 分区,
  2. 依赖关系,依赖关系分为窄依赖(父RDD最多有一个子RDD使用,例如map)宽依赖(多个子分区依赖一个RDD,例flatmap)
这两种依赖的的区别从两个方面来说比较有用。首先,窄依赖允许在单个集群节点上流水线式执行,这个节点可以计算所有父级分区。例如,可以逐个元素地依次执行filter操作和map操作。相反,宽依赖需要所有的父RDD数据可用并且数据已经通过类 MapReduce的操作shuffle完成。其次,在窄依赖中,节点失败后的恢复更加高效。因为只有丢失的父级分区需要重新计算,并且这些丢失的父级分区可以并行地在不同节点上重新计算。与此相反,在宽依赖的继承关系中,单个失败的节点可能导致一个 RDD 的所有先祖RDD中的一些分区丢失,导致计算的重新执行。

内存管理

Spark提供三种持久化RDD存储策略:未序列化Java对象存于内存中,序列化后数据存于内存以及磁盘存储。

RDD特性:

  1. 在一个集群中对任意记录具有不变性的存储
  2. 通过每一条记录的key来控制数据分区
  3. 将粗粒度用于分区操作
  4. 利用内存存储的低延迟特性

你可能感兴趣的:(spark原著)