hadoop多文件输出

现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。

问题，如果要在reduce中输出两种文件，一种是标志，另一种是正常业务数据，实现方案有三种：

（1）设置一个reduce，在reduce中将数据封装到一个集合中，在cleanup中将数据写入到hdfs中，但是如果数据量巨大，一个reduce无法充分利用资源，实现负载均衡，但是如果数据量较小，可以使用

（2）设置多文件输出，使用MultipleOutputs类

具体见代码：

private MultipleOutputs mos; 

@Override 
protected void setup(Context context) 
throws IOException, InterruptedException { 
  mos=new MultipleOutputs(context);
} 
@Override 
protected void reduce(Text key, Iterable values, Context context) 
throws IOException, InterruptedException { 

String key1=key.toString(); 
for(Text t:values){ 
   if(key1.equals("a")){ 
   mos.write("a", key,t); 
   } else if(key1.equals("b")){ 
   mos.write("b", key,t);    
   } else if(key1.equals("c")){ 
   mos.write("c", key,t); 
   
   } 
 } 
} 
@Override 
protected void cleanup( 
Context context) 
throws IOException, InterruptedException { 
mos.close();
} 

main方法中配置

MultipleOutputs.addNamedOutput(job, "a", TextOutputFormat.class, Text.class, Text.class);
MultipleOutputs.addNamedOutput(job, "b", TextOutputFormat.class, Text.class, Text.class);
MultipleOutputs.addNamedOutput(job, "c", TextOutputFormat.class, Text.class, Text.class);
 
  
 
  
 
  
 
  
结果文件为  a-r-0000,b-r-0000,c-r-0000,part-r-0000
（3）第三种方案是自己实现多文件输出 
  
 
  
详见http://blog.csdn.net/qingmu0803/article/details/39665407