Hadoop Map/Reduce Partitioner概念
在Hadoop Map/Reduce框架下，当Mapper处理好数据后，需要使用Partitioner确定怎样合理地将Mapper输出分配到Reducer之中。
默认的情况下，Hadoop对键值对中的key取hash值来确定怎样分配给相应的Reducer。Hadoop使用HashParitioner class来执行这一操作。但是有时候HashPartitioner并不能完成它的功能。
假如有一组这样的数据：
(San Francisco, Los Angeles) Chuck Lam
(San Francisco, Dallas) James Warren
...
如果使用HashPartitioner进行操作的话，结果会将以上两条记录分别传给不同的Reducer进行操作，这样子的话输出的结果就会是错误的。那我们怎样自行定义Partitioner呢？

 public class EdgePartitioner implements Partitioner
 
{
 
    @Override
 
    public int getPartition(Edge key, Writable value, int numPartitions)
 
    {
 
        return new Long(key.getDepartureNode()).hashCode() % numPartitions;
 
    }
 
    @Override
 
    public void configure(JobConf conf) { }
 
}

 

一个自定义的Partitioner只需要实现两个功能：getPartition()和configure()。
getPartition()函数返回一个0到Reducer数目之间的int值来确定将键值对送到哪一个Reducer中。
configure()使用Hadoop Job Configuration来配置partitioner。