Spark中groupByKey和reduceByKey的区别

在spark中，groupByKey和reduceByKey都有按照相同的key进行分组的功能，但reduceByKey自带了一个聚合的功能。两者在性能上也有差异。

性能上：

groupByKey和reduceByKey都会对数据进行分组操作，所以都会有shuffle操作，但是reduceByKey会在shuffle之前对分区内数据进行预聚合，这样在shuffle时就会减少落盘的数据量，提高性能。groupByKey只会对数据进行分组，因此shuffle前后数据量不变，性能要差一些。

功能上：

reduceByKey包含了分组和聚合两个功能，而groupByKey只有分组的功能。