sparkcore分区_SparkCore——RDD编程
RDD 编程
RDD 编程模型
在 Spark 中，RDD 被表示为对象，通过对象上的方法调用来对 RDD 进行转换。
经过一系列的transformations定义 RDD 之后，就可以调用 actions 触发 RDD 的计算
action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。
在Spark中，只有遇到action，才会执行 RDD 的计算(即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。
要使用 Spark，开发者需要编写一个 Driver 程序，它被提交到集群以调度运行 Worker
Driver 中定义了一个或多个 RDD，并调用 RDD 上的 action，Worker 则执行 RDD 分区计算任务。
RDD 的创建
在 Spark 中创建 RDD 的方式可以分为 3 种：
从集合中创建 RDD
从外部存储创建 RDD
从其他 RDD 转换得到新的 RDD。
从集合中创建 RDD
使用parallelize函数创建
scala> val arr = Array(10,20,30,40,50,60)scala> val rdd1 = sc.parallelize(arr)
使用makeRDD函数创建
makeRDD和parallelize是一样的.
说明:
一旦 RDD 创建成功, 就可以通过并行的方式去操作这个分布式的数据集了.
parallelize和makeRDD还有一个重要的参数就是把数据集切分成的分区数.
Spark 会为每个分区运行一个任务(task). 正常情况下, Spark 会自动的根据你的集群来设置分区数
从外部存储创建 RDD
Spark 也可以从任意 Hadoop 支持的存储数据源来创建分布式数据集.
可以是本地文件系统, HDFS, Cassandra, HVase, Amazon S3 等等.
Spark 支持 文本文件, SequenceFiles, 和其他所有的 Hadoop InputFormat.
scala> var distFile = sc.textFile("words.txt")scala> distFile.collect
发现出错，原因是因为HDFS并没有相关的word.txt文件
我们在module下面创建一个word.txt文件并编写相关的内容
再次执行成功
说明:
1url可以是本地文件系统文件, hdfs://..., s3n://...等等
2如果是使用的本地文件系统的路径, 则必须每个节点都要存在这个路径
3所有基于文件的方法, 都支持目录, 压缩文件, 和通配符(*). 例如:
textFile("/my/directory"), textFile("/my/directory/*.txt"), and textFile("/my/directory/*.gz").
4textFile还可以有第二个参数, 表示分区数. 默认情况下, 每个块对应一个分区.(对 HDFS 来说, 块大小默认是 128M). 可以传递一个大于块数的分区数, 但是不能传递一个比块数小的分区数.
5关于读取文件和保存文件的其他知识, 后面专门的章节介绍.
从其他 RDD 转换得到新的 RDD
就是通过 RDD 的各种转换算子来得到新的 RDD.