map()、mapPartitions()和mapPartitionsWithIndex(func)的区别

map:强调每一个元素,所以传给算子的参数就是每一个数据
mapPartitions():强调的是每一个分区,所以传给算子的参数是分区类数据集
mapPartitionsWithIndex():强调的是每一个分区号,所以提供给算子的参数是元组(分区号,分区内数据集合)

你可能感兴趣的:(map()、mapPartitions()和mapPartitionsWithIndex(func)的区别)