Spark 集群与数据集RDD

Spark是一个分布式计算框架，对资源的调度，任务的提交跟踪、节点间的通信及数据并行处理的内在操作都进行了抽象。
四种运行模式：
本地单机模式：所有spark进程都运行在同一个JVM中
集群单机模式：使用spark内置的任务调度框架
基于Mesos:Mesos 是一个流行的开源集群计算框架
基于Yarn:hadoop2，一个与hadoop关联的集群计算和资源调度框架
区别：解析hadoop新一代mapreduce框架Yarn http://www.csdn.net/article/2014-02-10/2818355

1、spark集群
由一个驱动程序和多个执行程序构成，如图1。Driver程序是应用逻辑执行的起点，负责作业的调度，即Task的分发；多个worker用来管理计算节点和创建Excecutor并行处理任务。在执行阶段，Driver将Task和所依赖的文件及jar包，序列化后传递给对应的worker机器，同时Executor对相应的数据分区的任务进行处理。

2、Spark生态系统
整个生态系统称为BDAS,其核心框架是spark，同时包括SparkSQL，机器学习功能系统MLBase，分布式机器学习库Mlib,并行图计算框架GraphX,流计算框架SparkStreaming等，见图2

（1）Spark
BDAS的核心组件，大数据分布式编程框架，底层采用scala函数式编程语言书写而成，提供scala类似的编程接口。Spark将数据抽象成弹性分布式数据集RDD，不仅实现了mapreduce的算子map函数和reduce函数，以及filter、join、groupByKey等。Spark将数据在分布式环境下分区，将作业转化成有向无环图DAG，并分阶段进行DAG的调度和任务的分布式并行处理。
（2）Shark
构建在Spark和hive基础上的数据仓库，已经终止开发。提供了能够查询hive中所存储数据的一套SQL接口，兼容hive语法。
（3）Spark SQL
提供大数据上的SQL查询功能，类似于Shark在系统中的角色，统称为SQL on spark。可通过JDBC API和传统BI或可视化工具在spark上执行类似SQL查询。还可以用spark SQL对不同格式的数据（如JSON、Parquet以及数据库等）执行ETL，将其转化为查询输出
（4）SparkStreaming
将从数据源接收的数据转换成由spark RDD组成的DStream，负责实时处理数据流。
（5）Spark MLlib
spark机器学习库，通用学习算法和工具组成，包括二分类、线性回归、聚类、协同过滤、梯度下降以及底层优化。
（6）Spark Graphx
基于图计算和并行图计算的Spark API,通过弹性分布式属性图，一种顶点和边都带有属性的有向多重图，扩展了Spark RDD。
（7）Tachyon
分布式内存文件系统，可理解为内存中的HDFS。可以基于Tachyon实现RDD或者文件的跨应用分享，并提供高容错机制，保证数据的可靠性。

3、弹性分布式数据集（RDDs）
可并行操作的有容错机制的数据集合，有2种方式创建RDDs：从现有的集合创建，
scala> val distFile = sc.textFile(“data.txt”)
distFile: RDD[String] = MappedRDD@1d4cee08
或基于hadoop 的输入源创建（如：本地文件系统、HDFS和Amazon S3）。

创建RDD后，可供操作的分布式记录集，在spark编程模式下，所有的操作分为转换和执行两种。转换操作是对一个数据集里的所有记录执行某种函数，从而使记录发生改变；执行操作一般是运行某些计算或聚合操作，并将结果返回运行SparkContext的那个驱动程序。

常见的转换操作：
map(func) 每个元素经过func函数换换后输出一个元素
filter(func) 返回 func函数计算后返回值为true的输入元素组成的新数据集
flatMap(func) func返回一个序列，每个输入元素可以被映射为0或多个输出元素
reduceByKey(func,[numTasks]) 使用指定的reduce函数将相同的key值聚合到一起
groupByKey([numTasks]) 在一个键值对的数据集上调用，返回一个（k,Seq[v]）对的数据集
除此之外，join 、union 、distinct、mapPartitions、cogroup、sortByKey也是转换操作

常见的动作操作：
reduce(func) 通过函数func聚集数据集中所有的元素
collect(func) 以数组的形式返回数据集的所有元素
count(func) 返回数据集元素的个数，一般在filter等操作后返回足够小的子集后
take(n) 返回前n个元素组成的数组
foreach(func) 对数据集的每个元素，运行函数func进行更新。
除此之外，takeOrdered、saveAsTextFile、countByKey都是动作操作。

RDD缓存和持久化：
将数据集持久化（或缓存）到内存中，以便在多个操作中重复使用。可以通过persist或cache方法来标记一个想要持久化的RDD。在第一次被计算产生后，它就会始终停留在内存中。spark缓存具有容错性（如果RDD的任意一个分片丢失了，spark会按照RDD的产生过程重算一遍）
使用以下两种方法可以标记要缓存的 RDD：
lineLengths.persist()
lineLengths.cache()

取消缓存则用：
lineLengths.unpersist()

4、共享变量
spark能够创建两种特殊类型的变量：广播变量和累加器
广播变量,为只读变量，由运行sparkContext的驱动程序创建后发送给参与计算的节点，可以通过 SparkContext.broadcast(v) 来从变量 v 创建一个广播变量。
累加器，在相关过程中只能被累加的变量，可以通过SparkContext.accumulator(v)来从变量v创建一个累加器。