hadoop处理小文件例子

在hadoop中，框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。好在hadoop还提供了一个处理小文件的方法，那就是CombineTextInputFormat。

问题提出：如何将目录中的多个小文件合并成为一个切片从而开启一个MapTask进行处理。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordcountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        String inputPath = "e:/input"; //文件的输入路径
        String outputPath = "e:/output";   // 文件的输出路径
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);  //获取一个job的实例

        **job.setInputFormatClass(CombineTextInputFormat.class); //设置输入的格式，默认的输入格式是TextInputFormat
        CombineTextInputFormat.setMaxInputSplitSize(job, 1048576);  //虚拟存储切片最大值设置1m，可以根据你的小文件大小来进行设定**

        job.setJarByClass(WordcountDriver.class); // 通过反射给定类的来源来设置Jar
        job.setMapperClass(WordcountMapper.class); // 关联Map和Reduce
        job.setReducerClass(WordcountReducer.class);

        job.setMapOutputKeyClass(Text.class);  //  Mapper阶段的输出的K,V类型
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);  //  程序最终输出的K,V类型
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.setInputPaths(job,new Path(inputPath));
        FileOutputFormat.setOutputPath(job,new Path(outputPath));

        boolean result = job.waitForCompletion(true);
        //交给yarn去执行，直到执行结束才退出本程序，true为程序运行时可见此过程
        System.exit(result ? 0 : 1);
    }
    
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    Text k = new Text();
    IntWritable v = new IntWritable(1);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String s = value.toString();  //获取一行数据
        String[] words = s.split(" ");  //按空格来切分字符
        for (String word : words) {
            k.set(word);   // String类型需要转换为Text类型
            context.write(k, v);   //map中的key、value写入context
        }
    }
}


    public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

        int sum = 0;

        for (IntWritable v : values) {
            sum += v.get(); // v的类型与sum不一致先要转换数据类型
        }

        IntWritable intWritable = new IntWritable();
        intWritable.set(sum);
        context.write(key, intWritable);  //reduce中的key、value写入context

    }
 }

}

运行结果为一个切片，因为所有文件加起来大小都没有 128M，所以切片数为 1

如果不使用CombineTextInputFormat那么切片数也就为4，因为有4个小文件。

总结：这里最重要的步骤就是在原有代码的基础上增加了如下两行内容。

job.setInputFormatClass(CombineTextInputFormat.class); //设置输入的格式，默认的输入格式是TextInputFormat。
CombineTextInputFormat.setMaxInputSplitSize(job, 1048576); //虚拟存储切片最大值设置1m