RDD的转换算子(Value类型)

Value类型:

  • map(func)
  • mapPartitions(func)
  • mapPartitionsWithIndex(func)
  • flatMap(func)

map()和mapPartition()的区别

  1. map():每次处理一条数据。
  2. mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM。
  3. 开发指导:当内存空间较大的时候建议使用mapPartition(),以提高处理效率。
  • glom
  1. 作用:将每一个分区形成一个数组,形成新的RDD类型时RDD[Array[T]]
  2. 需求:创建一个4个分区的RDD,并将每个分区的数据放到一个数组
  • groupBy(func)
  1. 作用:分组,按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器。
  2. 需求:创建一个RDD,按照元素模以2的值进行分组。
  • filter(func)
  1. 作用:过滤。返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成。
  2. 需求:创建一个RDD(由字符串组成),过滤出一个新RDD(包含”xiao”子串)
  • sample(withReplacement, fraction, seed)
  1. 作用:以指定的随机种子随机抽样出数量为fraction的数据,withReplacement表示是抽出的数据是否放回,true为有放回的抽样,false为无放回的抽样,seed用于指定随机数生成器种子。
  2. 需求:创建一个RDD(1-10),从中选择放回和不放回抽样
  • distinct([numTasks]))
  1. 作用:对源RDD进行去重后返回一个新的RDD。默认情况下,只有8个并行任务来操作,但是可以传入一个可选的numTasks参数改变它。
  2. 需求:创建一个RDD,使用distinct()对其去重。
  • coalesce(numPartitions) 案例
  1. 作用:缩减分区数,用于大数据集过滤后,提高小数据集的执行效率。
  2. 需求:创建一个4个分区的RDD,对其缩减分区
  • repartition(numPartitions) 案例
  1. 作用:根据分区数,重新通过网络随机洗牌所有数据。
  2. 需求:创建一个4个分区的RDD,对其重新分区

coalesce和repartition的区别

  1. coalesce重新分区,可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定。
  2. repartition实际上是调用的coalesce,默认是进行shuffle的。源码如下:
def repartition(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope {
  coalesce(numPartitions, shuffle = true)
}
  • sortBy(func,[ascending], [numTasks])
  1. 作用;使用func先对数据进行处理,按照处理后的数据比较结果排序,默认为正序。
  2. 需求:创建一个RDD,按照不同的规则进行排序
  • pipe(command, [envVars])
  1. 作用:管道,针对每个分区,都执行一个shell脚本,返回输出的RDD。
    注意:脚本需要放在Worker节点可以访问到的位置

你可能感兴趣的:(RDD的转换算子(Value类型))