Spark-RDD编程API快速入门

RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个可分区，不可变，里面的元素可并行计算的结合。RDD具有自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显示地将工作集换存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。

RDD的属性

• 一组分片(Partition):即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，用户可以在创建RDD时指定RDD的分片个数，如果没有指定，默认值就是程序所分配得到的CPU Core的数目。
• 一个计算每个分区的函数。Spark中的RDD的计算都是以分片为单位的。
• RDD之间的依赖关系。RDD的每次转为都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，SPark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。
• 一个列表，存储每个partition的优先位置。对于一个HDFS文件来说，这个列表保存的就是每个Partition所在的块的位置。Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的位置。

http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html

RDD编程API

RDD中所有的转换都是延迟加载的，也就是说，他们并不会直接计算结果，相反，它们只是记住这些应用到基础数据集(例如一个文件)上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这种设计让Spark更加有效地运行。

常用的Transformation

转换	含义
map(func)	返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成
filter(func)	返回一个新的RDD，该RDD由经过func函数计算后返回返回值为true的输入元素组成。
flatMap(func)	类似于map，但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列，而不是但一元素，例如对文本字符串的切割)
mapPartitions(func)	类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数必须是Iterator[T]=>Iterator[U]
mapPartitionsWithIndex(func)	类似与mapPartitions，但func带有一个整数参数表示分片的索引值，因此func的函数类型必须是(Int,Iterator[T])=>Iterator[U]
sample(withReplacement,fraction,seed)	根据fraction指定的比例对数据进行采样，可以选择是否使用随机数进行替换，seed用于指定随机数生成器种子
union(otherDataset)	对源RDD和参数RDD求并集后返回一个新的RDD
intersection(otherDataset)	对源RDD和参数RDD求交集后返回一个新的RDD
distinct([numTasks])	对源RDD去重后返回一个新的RDD
groupByKey([numTasks])	在一个(K,V)的RDD上调用，返回一个(K,Iterator[V])的RDD
reduceByKey(func,[numTasks])	在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合在一起。与groupByKey类似，reduce任务的个数可以通过第二个可选的参数来设置。与groupByKey不同的是，reduceByKey在本地会先聚合一次。
aggregateByKey(zeroValue)(seqOp,combOp,[numTasks])	比reduceByKey功能更强大，可以自定义分区和分区间相同key的聚合操作。aggregateByKey的三个参数解释： 第一个参数：每个分区中不同key的初始值，每次分完组之后的初始值。 第二个参数：分区内对相同key的值的自定义函数(需要带上第一个参数)。 第三个参数：不同分区中相同key的值的自定义函数。
sortByKey(func,[ascending],[numTasks])	与sortByKey类似，但是更灵活
join(otherDataset,[numTasks])	在类型为(K,V)和(K,W)的RDD上调用吗，返回一个相同key对应的所有元素对在一起的(K,(V,W)),(K,(V,W2))的RDD。结果集是key是string，value是元组
leftOuterJoin()	返回rdd1所有元组与rdd2的关联情况,结果为key和option，如果有值value为Some(内容)，如果没关联，则value为None
cogroup(otherDataset,[numTasks])	在类型为(K,V)和(K,W)的RDD上调用，返回一个(K,(Iterable,Iterable))类型的RDD
cartesian(otherDataset)	笛卡尔积
coalesce(numPartitions,boolean)	为true时重新分区。当我们想合并文件输出时特别有用
repartition(numPartitions)	重新分区
repartitionAndSortWithinPartitions(partioner)

Action

动作	含义
reduce(func)	通过func函数聚集RDD中所有的元素，这个功能时可交换且可并联的
collect()	在驱动程序中，以数组的形式返回数据集的所有元素
count()	返回RDD的元素个数
first()	返回RDD的第一个元素(类似于take(1))
take(n)	返回一个由数据集的前n个元素组成的数组
takeSample(withReplacement,num,[seed])	返回一个数组，该数组由从数据集中随机采用的num个元素组成，可以选择是否用随机数替换不足的部分，seed用于指定随机数生成器种子
takeOrdered(n,[ordering])	返回排好序的前几个元素
saveAsTextFile(path)	将数据的元素以textFile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它替换为文件中的文本
saveAsSequenceFile(path)	将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下
countByKey()	针对(K,V)类型的RDD，返回一个(K,Int)的map,表示每一个key对应的元素个数
foreach(func)	在数据集的每一个元素上，运行函数func进行更新

常见的rdd

map是对每个元素操作, mapPartitions是对其中的每个partition操作

---

---

mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码

//需要先定义一个函数，传入两个值，一个是分区号，一个是分区内的内容，然后将这个函数传入mapPartitionsWithIndex中

val func = (index: Int, iter: Iterator[(Int)]) => {
  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator
}
val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7,8,9), 2)
rdd1.mapPartitionsWithIndex(func).collect

---

---

aggregate：聚合，先组内聚合，然后组之间的聚合。相当于hadoop中的mapper和reducer

def func1(index: Int, iter: Iterator[(Int)]) : Iterator[String] = {
  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator
}
val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7,8,9), 2)
rdd1.mapPartitionsWithIndex(func1).collect
###是action操作, 第一个参数是初始值, 第二个参数:是2个函数[每个函数都是2个参数(第一个参数:先对每个分区进行合并, 第二个:对每个分区合并后的结果再进行合并), 输出一个参数]
###0 + (0+1+2+3+4   +   0+5+6+7+8+9)
rdd1.aggregate(0)(_+_, _+_)
//先求出每个分区内的最大值，然后将两个分区的最大值进行想加。4+9=13
rdd1.aggregate(0)(math.max(_, _), _ + _)

###5和1比, 得5再和234比得5 --> 5和6789比,得9 --> 5 + (5+9)=19
rdd1.aggregate(5)(math.max(_, _), _ + _)


val rdd2 = sc.parallelize(List("a","b","c","d","e","f"),2)
def func2(index: Int, iter: Iterator[(String)]) : Iterator[String] = {
  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator
}
rdd2.aggregate("")(_ + _, _ + _)
###||abc|def-> | + |abc + |def
rdd2.aggregate("|")(_ + _, _ + _)


val rdd3 = sc.parallelize(List("12","23","345","4567"),2)
###24或者42，因为两个分区完成的时间不一致
rdd3.aggregate("")((x,y) => math.max(x.length, y.length).toString, (x,y) => x + y)


val rdd4 = sc.parallelize(List("12","23","345",""),2)
###01或者10。 ""跟"12"比，得到"0"的长度为1，因此分区0内的最小长度为1。
rdd4.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)

###结果为11
val rdd5 = sc.parallelize(List("12","23","","345"),2)
rdd5.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)

总结：使用aggregate一定要注意的几点：

1.第一个参数是初始值，会作用于每个分区，以及分区的汇总。
2.第二个参数需要传入两个两个参数的函数，第一个函数作用于分区内，第二个函数作用于分区间的汇总
3.List中的比较是顺序比较的

---

---

aggregateByKey:注意这是一个transformation

aggregateByKey(初始值)(分区内相同key的操作,聚合时相同key的操作)

val pairRDD = sc.parallelize(List( ("cat",2), ("cat", 5), ("mouse", 4),("cat", 12), ("dog", 12), ("mouse", 2)), 2)
def func2(index: Int, iter: Iterator[(String, Int)]) : Iterator[String] = {
  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator
}
pairRDD.mapPartitionsWithIndex(func2).collect

###result:ArrayBuffer((dog,12), (cat,17), (mouse,6))
pairRDD.aggregateByKey(0)(math.max(_, _), _ + _).collect

###result:ArrayBuffer((dog,100), (cat,200), (mouse,200))
pairRDD.aggregateByKey(100)(math.max(_, _), _ + _).collect

注意：
1.aggregateByKey是一个transformation，而aggregate是一个action
2.先对分区内的key与初始值进行操作，然后分区内相同的key进行操作。最后聚合时还需要与初始值进行操作
3.aggregate和aggregateByKey的区别：两者需要的参数都是相同，不同的是aggregateByKey操作的是key-value类型的，aggregate只是先对分区操作，然后再聚合操作，没有对key进行聚合。

---

---

checkpoint

sc.setCheckpointDir("hdfs://node-1.itcast.cn:9000/ck")
val rdd = sc.textFile("hdfs://node-1.itcast.cn:9000/wc").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)
rdd.checkpoint
rdd.isCheckpointed
rdd.count
rdd.isCheckpointed
rdd.getCheckpointFile

---

---

coalesce, repartition

重新分区，其实repartition内部也是调的coalesce(num,true)，为true才会真正重新分区

val rdd1 = sc.parallelize(1 to 10, 10)
val rdd2 = rdd1.coalesce(2, false)
###重新划分为两个分区
rdd1.repartition(2)
###重新划分为10个分区
rdd1.coalesce(10,true)
rdd2.partitions.length

---

---

collectAsMap : Map(b -> 2, a -> 1)

val rdd = sc.parallelize(List(("a", 1), ("b", 2)))
rdd.collectAsMap

注意：当你的List中的元组存在key相同，但value不同时，只会拿最后一个

---

---

combineByKey : 和reduceByKey是相同的效果,比aggregate更加强大。

第一个参数:原封不动取出来,只对第一个元素进行操作。 第二个参数:是函数, 局部运算, 第三个:是函数, 对局部运算后的结果再做运算

###每个分区中每个key中value中的第一个值, (hello,1)(hello,1)(good,1)-->(hello(1,1),good(1))-->x就相当于hello的第一个1, good中的1
val rdd1 = sc.textFile("hdfs://master:9000/wordcount/input/").flatMap(_.split(" ")).map((_, 1))

###这里传入的参数要指明类型
val rdd2 = rdd1.combineByKey(x => x, (a: Int, b: Int) => a + b, (m: Int, n: Int) => m + n)
rdd1.collect
rdd2.collect

###当input下有3个文件时(有3个block块, 不是有3个文件就有3个block, ), 每个会多加3个10
val rdd3 = rdd1.combineByKey(x => x + 10, (a: Int, b: Int) => a + b, (m: Int, n: Int) => m + n)
rdd3.collect


val rdd4 = sc.parallelize(List("dog","cat","gnu","salmon","rabbit","turkey","wolf","bear","bee"), 3)
val rdd5 = sc.parallelize(List(1,1,2,2,2,1,2,2,2), 3)
val rdd6 = rdd5.zip(rdd4)

    /**
      * combineByKey需要传入三个参数
      * 第一个参数：对分区内相同key的第一个value进行操作
      * 第二个参数：对分区内相同key的values进行操作
      * 第三个参数：不同分区间相同key的聚合操作
      */
    val rdd7 = rdd6.combineByKey(List(_), (x: List[String], y: String) => x :+ y, (m: List[String], n: List[String]) => m ++ n)
    ###result:Array[(Int, List[String])] = Array((1,List(dog, cat, turkey)), (2,List(gnu, salmon, rabbit, wolf, bear, bee)))

注意：
1.combineByKey中的操作一定是要针对value的操作
2.第一个参数只是针对每个分区的不同key的第一个元素进行操作

aggregateByKey和combineByKey的区别，aggregateByKey第一个参数是一个初始值，而combineByKey的第一个参数是对分区内相同key的第一个元素进行操作

---

---

countByKey :计算相同key的数量

返回一个map，内容为key和该key的数量

val rdd1 = sc.parallelize(List(("a", 1), ("b", 2), ("b", 2), ("c", 2), ("c", 1)))
rdd1.countByKey

###相同元素的数量，如该示例中("a",1)相同的元组有几个
rdd1.countByValue

---

---

filterByRange:过滤一个范围的key

val rdd1 = sc.parallelize(List(("e", 5), ("c", 3), ("d", 4), ("c", 2), ("a", 1)))
###过滤一个范围的key，返回key在b,c,d之间的元组，bd包括在内
val rdd2 = rdd1.filterByRange("b", "d")
rdd2.collect

---

---

flatMapValues : 单独对元组的value进行操作，形成多个key相同的元组

val rdd3 = sc.parallelize(List(("a", "1 2"), ("b", "3 4")))

//result:Array((a,1), (a,2), (b,3), (b,4))。
val rdd4 = rdd3.flatMapValues(_.split(" "))
rdd4.collect

---

---

foldByKey:对相同key的value进行折叠操作

第一个参数是初始值

val rdd1 = sc.parallelize(List("dog", "wolf", "cat", "bear"), 2)
val rdd2 = rdd1.map(x => (x.length, x))

###将元组内相同长度的value进行相加。Array[(Int, String)] = Array((4,wolfbear), (3,dogcat))
val rdd3 = rdd2.foldByKey("")(_+_)

val rdd = sc.textFile("hdfs://node-1.itcast.cn:9000/wc").flatMap(_.split(" ")).map((_, 1))
rdd.foldByKey(0)(_+_)

---

---

foreachPartition: 遍历分区内的元素，如果是在spark-shell命令行是看不到输出的

val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9), 3)
rdd1.foreachPartition(x => println(x.reduce(_ + _)))

---

---

keyBy : 以传入的参数做key。

    //    setMaster("[2]")，设置本地模式，起两个master
    val config = new SparkConf().setAppName("foreachPartition").setMaster("local[2]")

    val sc = new SparkContext(config)

    val rdd1 = sc.parallelize(List("kris","pony","jack"),3)

//  把输入的参数作为key
//  ArrayBuffer((4,kris), (4,pony), (4,jack))
    val rdd2 = rdd1.keyBy(_.length)
    println(rdd2.collect().toBuffer)

---

---

keys :单独拿所有的key

values:单独拿所有的values

val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther", "eagle"), 2)
val rdd2 = rdd1.map(x => (x.length, x))
rdd2.keys.collect
rdd2.values.collect

---

---

mapPartitions:对分区内的每个元素进行操作

def getStrLength(iter:Iterator[String]):Iterator[Int]={
//    该方法会打印三次，因为有三个分区
      println("run function")
      iter.toList.map(_.length).iterator
    }

//  使用mapPartitions的话，只会每个分区调用一次传入的方法
    val rdd2 = rdd1.mapPartitions(getStrLength)
    println(rdd2.collect().toBuffer)

cogroup

返回每个rdd中，含有相同key的value，values用CompactBuffer包裹

val rdd1 = sc.parallelize(List(("tom", 1), ("tom", 2), ("jerry", 3), ("kitty", 2)))
val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 1), ("shuke", 2)))
//cogroup
//返回每组含有的结果，用CompactBuffer包裹
val rdd3 = rdd1.cogroup(rdd2)
//注意cogroup与groupByKey的区别
rdd3.collect

result:ArrayBuffer((tom,(CompactBuffer(1, 2),CompactBuffer(1))), (jerry,(CompactBuffer(3),CompactBuffer(2))), (shuke,(CompactBuffer(),CompactBuffer(2))), (kitty,(CompactBuffer(2),CompactBuffer())))

groupByKey只有一个CompactBuffer，是一个汇总结果。而cogroup会返回每个rdd内的情况

sortBy

rdd的排序方法。true代表升序，false代表降序。

val rdd2 = sc.parallelize(List(5,6,4,7,3,8,2,9,1,10)).map(_*2).sortBy(x=>x,true)

top

先按倒序排序，然后取最大的指定个数

rdd1.top(2)

take

取集合或数据中的前指定个数，不排序

rdd1.take(2)

takeOrdered

取按升序排序后的前指定个数。

rdd1.takeOrdered(3)