Hadoop的Partitioner

Hadoop的Partitioner

MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。我们在中间key上使用分区函数来对数据进行分区，之后再输入到后续任务执行进程。一个缺省的分区函数是使用hash方法(比如，hash(key) mod R)进行分区。hash方法能产生非常平衡的分区。然而，有的时候，其它的一些分区函数对key值进行的分区将非常有用。比如，输出的key值是URLs，我们希望每个主机的所有条目保持在同一个输出文件中。为了支持类似的情况，MapReduce库的用户需要提供专门的分区函数。例如，使用“hash(Hostname(urlkey)) mod R”作为分区函数就可以把所有来自同一个主机的URLs保存在同一个输出文件中。

/**
     * to keep sort as global
     * 
     * @author hadoop
     * 
     */
    public static class Partition extends Partitioner<IntWritable, IntWritable> {

        @Override
        public int getPartition(IntWritable key, IntWritable value,
                int numPartitions) {
            int MaxNumber = 65223;
            int bound = MaxNumber / numPartitions + 1;
            int keynumber = key.get();
            for (int i = 0; i < numPartitions; i++) {
                if (keynumber < bound * i && keynumber >= bound * (i - 1))
                    return i - 1;
            }
            return 0;//return -1； （error）
        }

    }
上面的这段代码是自己实现的简单分区，最大值未输入的一个最大数字。我用1.2.1版本，无论如何，分区返回不能为-1，所以改成0
 hadoop的map/reduce中支持对key进行分区，从而让map出来的数据均匀分布在reduce上，当然，有时候由于机器间配置问题，可能不需要数据均匀，这时候也能派上用场。
框架自带了一个默认的分区类，HashPartitioner，先看看这个类，就知道怎么自定义key分区了。 
public class HashPartitioner<K, V> extends Partitioner<K, V> { 

  /** Use {@link Object#hashCode()} to partition. */ 
  public int getPartition(K key, V value, 
                          int numReduceTasks) { 
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; 
  } 

} 
很简单，继承Partitioner即可。 
先解释一下这个HashPartitioner做的事情 
(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; 
将key均匀分布在ReduceTasks上，举例如果Key为Text的话，Text的hashcode方法跟String的基本一致，都是采用的Horner公式计算，得到一个int，string太大的话这个int值可能会溢出变成负数，所以与上Integer.MAX_VALUE（即0111111111111111），然后再对reduce个数取余，这样就可以让key均匀分布在reduce上。
这个简单算法得到的结果可能不均匀，因为key毕竟不会那么线性连续，这时候可以自己写个测试类，计算出最优的hash算法。 
PS：hadoop框架本身包含了一些跟hash算法相关的数学之美，比如布隆过滤器（BloomFilter），写好hash函数是关键。

Partitioner
首先需要继承自Partitioner类（在0.19中为Partitioner接口），并重载它的getPartition方法：
[java]
public static class CatPartitioner extends Partitioner<Text, Text> {  

    @Override  
    public int getPartition(Text key, Text value, int numPartitions) {  
        String[] parts = key.toString().split("-");  
        if (parts.length == 2) {  
            return Math.abs(parts[0].hashCode()) % numPartitions;  
        }  
        return Math.abs(key.toString().hashCode()) % numPartitions;  
    }  
}  
然后在job配置中设置Partitioner Class