hadoop又见hashcode

在读hadoop源码时候,发现Partitioner决定map输出将被分到哪个reduce节点。

而Patitioner(默认使用hashpartitioner)是根据每条记录的主键值 取hashcode,同一个主键的记录会被分区到统一reduce节点上, 

但是不同的主键也有可能被分到同一reduce节点(因为hashcode并不能保持唯一),eg:

有俩个map结果<a,3> ,<b,3> 假设a,b的hashcode一样,那reduce同时接收了a,b的map结果。

这个的实现方式在涉及海量数据的数据库的分区也被经常用到 


你可能感兴趣的:(hadoop又见hashcode)