【系列】Matei Zaharia(Spark系统作者)博士论文-0 摘要

随着处理器提升速度下降和数据量的不断增长,很多公司和组织(既有互联网公司也有传统的企业还有一些研究机构)都要求他们的应用能够Scale out到更大的分布式系统上(比如整个数据中心)。这些应用又分为以下几种类型:

  1. 机器学习类型的应用(machine learning algorithms)
  2. 查询类型应用 (simple queries)
  3. 图处理类型应用 (graph analysis)
  4. 批处理应用 (batch processing)
  5. 实时流分析应用 (real-time streaming analysis)
新的计算平台不仅要能够支持传统的计算负载,还能支撑未来的新兴的各种复杂的应用。

本文为集群计算系统提出一种架构,既能解决传统的批处理应用,还能再保证可扩展性和容错的前提下 处理交互式查询流式应用。当前大部分系统仅仅支持简单的单趟计算(one-pass computations),我们的系统可以支持多趟计算(如机器学习算法中的迭代计算)。最后,我们的架构支持多种计算组合,这使得大量的的新应用可以混合。

我们主要是通过对MapReduce增加一个 共享数据的原语(primitive),称之为RDD,实现以上的效果。我们将说明RDD足以解决大量不同的工作负载。Spark系统是RDD的具体实现,我们使用大量的Benchmark和真实用户应用对其进行评估。对于大量的应用,Spark的性能都超过了运行它们的专有系统,同时还能支持这些负载之间相互组合,同时还能保证容错。接下来,我们将从理论和实践两个角度来探讨为什么RDD可以有效的支持大量的应用。

你可能感兴趣的:(spark,RDD,分布式计算系统,Matei)