Hadoop学习之路（七） MapReduce框架Partitioner分区

Partitioner分区的作用是什么？

在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么如果要得到多个文件，意味着有相同数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就是Mapper任务要划分数据，对于不停的数据分配给不同的Reducer任务运行。Mapper任务划分数据的过程就称作partition。负责实现划分数据的类称作partitioner。

案例：将13开头的手机号输入到一个文件、15开头的手机号输入到一个文件，其他手机号输出到另一个文件

package com.wsy.bigdata.mr.access;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;


public class AccessPartitioner extends Partitioner {

    /**
     *
     * @param phone 手机号
     * @param access
     * @param numPartitions
     * @return
     */
    @Override
    public int getPartition(Text phone, Access access, int numPartitions) {
        if(phone.toString().startsWith("13")){
            return 0;
        }else if(phone.toString().startsWith("15")){
            return 1;
        }else {
            return 2;
        }
    }
}

在运行MR程序时，只需要在主函数中加入如下两行代码即可：

   //设置自定义分区规则
   job.setPartitionerClass(AccessPartitioner.class);
   job.setNumReduceTasks(3);