3.1 掌握RDD的创建

一、RDD为何物

（一）RDD概念
Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。RDD的弹性主要是指当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。分布式数据集是指一个数据集存储在不同的节点上，每个节点存储数据集的一部分。
传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。Spark中的RDD可以很好的解决这一缺点。RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的I/O操作，提高数据处理的速度和性能。
（二）RDD示例
将数据集（hello, world, scala, spark, love, spark, happy）存储在三个节点上，节点一存储（hello, world），节点二存储（scala, spark, love），节点三存储（spark, happy），这样对三个节点的数据可以并行计算，并且三个节点的数据共同组成了一个RDD。
（三）RDD主要特征
RDD是不可变的，但可以将RDD转换成新的RDD进行操作。
RDD是可分区的。RDD由很多分区组成，每个分区对应一个Task任务来执行。
对RDD进行操作，相当于对RDD的每个分区进行操作。
RDD拥有一系列对分区进行计算的函数，称为算子。
RDD之间存在依赖关系，可以实现管道化，避免了中间数据的存储

二、做好准备工作

（一）准备文件
1、准备本地系统文件

2、启动HDFS服务

3、上传文件到HDFS

（二）启动Spark Shell
1、启动Spark服务

2、启动Spark Shell

三、创建RDD

（一）通过并行集合创建RDD
1、利用parallelize()方法创建RDD

2、利用makeRDD()方法创建RDD

3、简单说明
从上述命令执行的返回信息可以看出，上述创建的RDD中存储的是Int类型的数据。实际上，RDD也是一个集合，与常用的List集合不同的是，RDD集合的数据分布于多台机器上。
（二）从外部存储创建RDD
Spark可以从Hadoop支持的任何存储源中加载数据去创建RDD，包括本地文件系统和HDFS等文件系统。我们通过Spark中的SparkContext对象调用textFile()方法加载数据创建RDD。
Spark的textFile()方法可以读取本地文件系统或外部其他系统中的数据，并创建RDD。不同的是，数据的来源路径不同。
先前我们以本地模式启动了Spark Shell，既可以访问本地文件，也可以访问HDFS文件。
1、从文件系统加载数据创建RDD

2、从HDFS中加载数据创建RDD