hadoop自定义输出文件名

使用MultipleOutputs可以定义输出文件名的前缀，但文件名总是会出现讨厌的-00000，我们可以通过查看源码，发现输出文件名FileOutputFormat中的某个函数实现，如下：

    public Path getDefaultWorkFile(TaskAttemptContext context,String extension) throws IOException{
        FileOutputCommitter committer = (FileOutputCommitter) getOutputCommitter(context);
        return new Path(committer.getWorkPath(), getUniqueFile(context, getOutputName(context), extension));
      }

      public synchronized static String getUniqueFile(TaskAttemptContext context, String name, String extension) {
        TaskID taskId = context.getTaskAttemptID().getTaskID();
        int partition = taskId.getId();
        StringBuilder result = new StringBuilder();
        result.append(name);
        result.append('-');
        result.append(
           TaskID.getRepresentingCharacter(taskId.getTaskType()));
        result.append('-');
        result.append(NUMBER_FORMAT.format(partition));
        result.append(extension);
        return result.toString();
      }

所以假如我们想要让输入文件名是什么输出文件名就是什么，可以通过继承TextOutputFormat，重写里面的getDefaultWorkFile函数，如下

    public Path getDefaultWorkFile(TaskAttemptContext context,String extension) throws IOException{
        FileOutputCommitter committer = (FileOutputCommitter) getOutputCommitter(context);
        return new Path(committer.getWorkPath(), getOutputName(context));
      }

最后通过job.setOutputFormatClass(XXX.class)来设置我们自定义的OutputFormat就行了