最详细理解spark中reduce和reduceByKey的区别

首先我们先讲讲两个函数在功能上的作用与区别是什么，然后我们再深入讨论两个函数在内部机理有什么不同。

reduce(binary_function)

reduce 是用于一元组，遍历一元组的数据，进行处理。

reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。

具体过程，RDD有1 2 3 4 5 6 7 8 9 10个元素，
1+2=3
3+3=6
6+4=10
10+5=15
15+6=21
21+7=28
28+8=36
36+9=45
45+10=55

**

reduceByKey(binary_function)

**

reduceByKey是用于二元组When called on a dataset of (K, V) pairs, returns a
dataset of (K, U) pairs，可以通过function，对一个相同的key的value进行操作，得到一个U类型的值。

reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行binary_function的reduce操作，因此，Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的KV对。

那么讲到这里，差不多函数功能已经明了了，而reduceByKey的是如何运行的呢？下面这张图就清楚了揭示了其原理：

亦即，它会在数据搬移以前，提前进行一步reduce操作。

可以实现同样功能的还有GroupByKey函数，但是，groupbykey函数并不能提前进行reduce，也就是说，上面的处理过程会翻译成这样：

所以在处理大规模应用的时候，应该使用reduceByKey函数。

转载于:https://my.oschina.net/hunglish/blog/1517120