Hadoop及spark框架结构

Hadoop结构框架

spark框架

---

Spark各部件介绍

Spark Core

		Spark生态圈的核心: 
		负责从HDFS, Amazon S3和HBase等持久层读取数据
		在YARN和Standalone为资源管理器调度Job完成分布式计算

包括两个重要部件

• 有向无环图（DAG）的分布式并行计算框架

   反应RDD之间的依赖关系 
   提供Cache机制来支持多次迭代计算或者数据共享以减少迭代计算之间读取数据局的开销 
   根据用户端对RDD的指令进行优化以减少系统开销
  

• 容错分布式数据RDD (Resilient Distributed Dataset)

    RDD代表了一系列数据集合分布在机群的内存中。SPARK CORE 的任务是对这些数据进行分布式计算。
  

也就是说
SPARK CORE 就是 SPARK 功能调度中心，其中包括任务调动，内存管理，容错管理及存储管理。同时也是一些列应用程序的集中地。
这些应用程序用来定义和管理RDD (Resilient Distributed Dataset).

---

Spark SQL:

Spark 中用于结构化数据处理的软件包。用户用户可以在Spark环境下用SQL语言处理数据。

---

Spark Streaming：

	Spark 中用来处理流数据的部件

---

MLlib：Spark

中用来进行机器学习和数学建模的软件包

---

GraphX：Spark

中用来进行图计算(如社交媒体关系) 的库函数

---

---