Spark大数据处理TB级别海量数据的Shuffle成本(草稿)

1:轻易不要shuffle,例如20万个小文件(文件大小100MB,spark一个文件一个分区)的想要进行缩减5-8万的分区轻易不要repartition,而是coalase 进行分区合并 

你可能感兴趣的:(Spark)