Spark Transformations/Action 算子

Transformations 算子

算子 介绍
map 一对一转换算子
filter 过滤算子
flatMap 一生成多转换算子,返回数组
mapPartitions 每次处理一个分区的数据,效率高
sample 抽样算子
union 合并算子/可重
intersection 合并算子/无重
distinct 去重算子
groupByKey 聚合操作
reduceByKey 聚合操作/提前做合并
sortByKey 按Key排序
join rdd join
cogroup 相同的key聚合成集合
cartesian 笛卡尔积
repartition 数据打散

Action 算子

算子 介绍
reduce 相同key数据处理
collect 得到数组
count 记录数
first 取第一个元素
take 取第N个元素
takeSample 采样
takeOrdered 第N个元素,按排序器
saveAsTextFile 保存元素
foreach 遍历

你可能感兴趣的:(spark,spark)