spark 修改分区(存储结果需要)

修改分区就行了
val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))
#  查看分区数
rdd1.partitions.length
# 改成1个分区
val rdd2 = rdd1.repartition(1)
rdd2.partitions.length

你可能感兴趣的:(spark 修改分区(存储结果需要))