filter:过滤符合条件的记录数,true的保留、false的过滤
map:将RDD中的数据项,通过map中的函数映射变为一个新的元素(1进1出)
mapPartition:执行结果与map相同,但是可以一次遍历整个patition
mapPartitionWithIndex:类似于mapPartitions,除此之外还会携带分区的索引值
mapToPair:返回(k,v)格式的RDD
flatMap:对RDD中的数据项,先map再flat(1进多出)
flatMapToPair:对RDD中的数据项,先map再flat,在返回(k,v)格式的RDD
reduceByKey:将相同的Key根据逻辑进行处理
sample:抽样,传进一个比例值,可以选择传入参数决定是否有放回的抽样
sortBy/sortByKey:作用在K,V格式的RDD上,对Key进行升序或降序排序
join:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W))
leftOuterJoin:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)),左边中的key为主,只显示左边中存在的key值
rightOuterJoin:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)),右边中的key为主,只显示右边中存在的key值
fullOuterJoin:作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W)),两边的key值都显示
例:
JavaPairRDD nameRDD = sc.parallelizePairs(Arrays.asList(
new Tuple2<>(0, "aa"),
new Tuple2<>(1, "a"),
new Tuple2<>(2, "b"),
new Tuple2<>(3, "c")
));
JavaPairRDD scoreRDD = sc.parallelizePairs(Arrays.asList(
new Tuple2<>(1, 100),
new Tuple2<>(2, 200),
new Tuple2<>(3, 300),
new Tuple2<>(4, 400)
));
结果:
1.nameRDD.join(scoreRDD)
(1,(a,100))
(3,(c,300))
(2,(b,200))
2.nameRDD.leftOuterJoin(scoreRDD)
(0,(aa,Optional.empty))
(1,(a,Optional[100]))
(3,(c,Optional[300]))
(2,(b,Optional[200]))
3.nameRDD.rightOuterJoin(scoreRDD)
(4,(Optional.empty,400))
(1,(Optional[a],100))
(3,(Optional[c],300))
(2,(Optional[b],200))
4.nameRDD.fullOuterJoin(scoreRDD)
(4,(Optional.empty,Optional[400]))
(0,(Optional[aa],Optional.empty))
(1,(Optional[a],Optional[100]))
(3,(Optional[c],Optional[300]))
(2,(Optional[b],Optional[200]))
union:合并两个数据集。两个数据集的类型要一致。返回新的RDD的分区数是合并RDD分区数的总和
intersection:交集
subtract:差集
distinct:去重
cogroup:当调用类型(K,V)和(K,W)的数据上时,返回一个数据集(K,(Iterable
repartition:增加或减少分区。会产生shuffle
coalesce:常用来减少分区,第二个参数是减少分区的过程中是否产生shuffle。如果用来增加分区,必须设置为true
groupByKey:作用在K,V格式的RDD上。根据Key进行分组。作用在(K,V),返回(K,Iterable
zip:将两个RDD中的元素(KV格式/非KV格式)变成一个KV格式的RDD,两个RDD的个数必须相同
zipWithIndex:该函数将RDD中的元素和这个元素在RDD中的索引号(从0开始)组合成(K,V)对。
count:返回数据集中的元素数,会在结果计算完成后返回到Driver端
countByKey: 作用到K,V格式的RDD上,根据Key计数相同Key的数据集元素
countByValue:根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数
Collect:将计算结果回收到Driver端
foreach:循环遍历数据集中的元素,运行相应的逻辑
take:返回一个包含数据集前n个元素的集合take(n)
first:返回数据集中的第一个元素first=take(1)
foreachPartition:遍历的是一个patition上的数据
reduce:根据聚合逻辑聚合数据集中的每个元素
cache:将RDD持久化到内存中cache=persist()=memory_only
Persist:指定持久化级别none、memory_only、disk_only、memory_and_disk、memory_only_ser、off_heap
checkpoint算子不仅能将RDD持久化到磁盘,还能切断RDD之间的依赖关
cache和persist都是懒执行的。必须有一个action类算子触发执行
cache和persist算子的返回值可以赋值给一个变量,在其他job中直接使用这个变量就是使用持久化的数据了。持久化的单位是partition。
cache和persist算子后不能立即紧跟action算子
Checkpoint的执行流程:
(1) 当RDD的job执行完毕后,会从finalRDD从后往前回溯。
(2) 当回溯到某一个RDD调用了checkpoint方法,会对当前的RDD做一个标记。
(3) Spark框架会自动启动一个新的job,重新计算这个RDD的数据,将数据持久化到HDFS上。
Ø 优化:对RDD执行checkpoint之前,最好对这个RDD先执行cache,这样新启动的job只需要将内存中的数据拷贝到HDFS上就可以,省去了重新计算这一步