Hadoop MapReduce 修改输出文件名 MultipleOutputs

需求：修改mapreduce的输出文件名称 为自己想要的名字

工具：MultipleOutputs

默认文件名：part-r-xxx 或者000178_0

修改后为： 自定义名字-r-xxx   后边的r-xxx还没有去掉

主要流程：

1、声明 multipleOutputs

2、在setup方法中初始化

3、在reduce方法中调用  public voidwrite(KEYOUT key, VALUEOUT value, String baseOutputPath)

4、在cleanup放中close

5、取消原来文件的输出， LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);

package com.writer;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;

import java.io.IOException;

/**
 * @author anjinlong
 * @create 2017-07-06 10:42
 * @description description
 **/
public class HistoryReduce extends Reducer {

  private MultipleOutputs multipleOutputs;

  protected void setup(Context context) throws IOException, InterruptedException {
    multipleOutputs = new MultipleOutputs(context);
  }

  public void reduce(Text key, Iterable values, Context context)
          throws IOException, InterruptedException {

    String fileName = key.toString().substring(key.toString().length() - 2);

    for (Text val : values) {
      multipleOutputs.write(NullWritable.get(), val, fileName.toString());
    }
  }

  protected void cleanup(Context context) throws IOException, InterruptedException {
    multipleOutputs.close();
  }

}

//取消类似part-r-00000的空文件
    LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);