分组器

分组器:

WritableComparator

中英文的意思不是很一致。

分组器的作用:

Reduce处理的是相同key的一组数据。

但是我们知道 shuffle的时候,不同的key会分发到同一个reduce之中。

所以如何将不同的key的数据之间进行区分,

就是使用了分组器。

内部的分组器的工作原理:

reduce内部记录的key之间进行排序,同一个key的数据,由于key是相同的,

所以并列排在一起。


自定义分组器:


这里注意 构造函数,一定要调用super(),父类的构造函数。

传入的参数 是 Reduce 的 键.class

这里的BBKey.class

你可能感兴趣的:(分组器)