WordCount程序的新老版源码对比

首先列出wordcount的老版源码和新版源码，分别如下：
一、老版源码如下：
package com.hadoop.test;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reducer;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.TextInputFormat;
import org.apache.hadoop.mapred.TextOutputFormat;

public class WordCount {

   public static class Map extends MapReduceBase implements
         Mapper {

      private final static IntWritable one = new IntWritable(1);
      private Text word = new Text();

      @Override
      public void map(LongWritable key, Text value,
            OutputCollector output, Reporter arg3)
            throws IOException {
         String content = value.toString();
         StringTokenizer tokenizer = new StringTokenizer(content);
         while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            output.collect(word, one);
         }
      }
   }

   public static class Reduce extends MapReduceBase implements
         Reducer {

      @Override
      public void reduce(Text key, Iterator values,
            OutputCollector output, Reporter arg3)
            throws IOException {
         int sum = 0;
         while (values.hasNext()) {
            sum += values.next().get();
         }
         output.collect(key, new IntWritable(sum));
      }

   }

   // input the args via the below ways
   // right click-->run as ->run configurations
   // ->java application ->wordcount->
   // Arguments->program arguments->input_wordcount output_wordcount
   // inputdir:input_wordcount outputdir:output_wordcount
   // default current dir in hdfs: /user/root/
   public static void main(String[] args) throws IOException {
      JobConf job = new JobConf(WordCount.class);
      job.setJobName("wordcount");

      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(IntWritable.class);

      job.setMapperClass(Map.class);
      job.setCombinerClass(Reduce.class);
      job.setReducerClass(Reduce.class);

      job.setInputFormat(TextInputFormat.class);
      job.setOutputFormat(TextOutputFormat.class);

      FileInputFormat.setInputPaths(job, new Path(args[0]));
      FileOutputFormat.setOutputPath(job, new Path(args[1]));

      JobClient.runJob(job);

   }
}

　   Map类继承自MapReduceBase，并且它实现了Mapper接口，此接口是一个规范类型，它有4种形式的参数，分别用来指定map的输入key值类型、输入value值类型、输出key值类型和输出value 值类型。在本例中，因为使用的是TextInputFormat，它的输出key值是LongWritable类型，输出value值是Text类型，所 以map的输入类型为。在本例中需要输出这样的形式，因此输出的key 值类型是Text，输出的value值类型是IntWritable。实现此接口类还需要实现map方法，map方法会具体负责对输入进行操作，在本例中，map方法对输入的行以空格为单位进行切分，然后使用OutputCollect收集输出的。

       Reduce类也是继承自MapReduceBase的，需要实现Reducer接口。Reduce类以map的输出作为输入，因此Reduce的输入类 型是。而Reduce的输出是单词和它的数目，因此，它的输出类型是。Reduce类也要实现reduce方法，在此方法中，reduce函数将输入的 key值作为输出的key值，然后将获得多个value值加起来，作为输出的值。

      首先讲解一下Job的初始化过程。main函数调用Jobconf类来对MapReduce Job进行初始化，然后调用setJobName()方法命名这个Job。对Job进行合理的命名有助于更快地找到Job，以便在JobTracker和 Tasktracker的页面中对其进行监视。接着设置Job输出结果的中key和value数据类型，因为结果是<单词,个数>，所以 key设置 为"Text"类型，相当于Java中String类型。Value设置为"IntWritable"，相当于Java中的int类型。然后设置Job处 理的Map（拆分）、Combiner（中间结果合并）以及Reduce（合并）的相关处理类。这里用Reduce类来进行Map产生的中间结果合并，避 免给网络数据传输产生压力。接着就是调用setInputPath()和setOutputPath()设置输入输出路径。

（1）InputFormat和InputSplit

　　InputSplit是Hadoop定义的用来传送给每个单独的map的数据，InputSplit存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组。生成InputSplit的方法可以通过InputFormat()来设置。

　　当数据传送给map时，map会将输入分片传送到 InputFormat，InputFormat则调用方法getRecordReader()生成RecordReader，RecordReader 再通过creatKey()、creatValue()方法创建可供map处理的对。简而言之，InputFormat()方法是用来生成可供map处理 的对的。

　　Hadoop预定义了多种方法将不同类型的输入数据转化为map能够处理的对，它们都继承自InputFormat。

      其中TextInputFormat是Hadoop默认的输入方法，在TextInputFormat中，每个文件（或其一部分）都会单独地作为map的输入，而这个是继承自FileInputFormat的。之后，每行数据都会生成一条记录，每条记录则表示成形式：key值是每个数据的记录在数据分片中字节偏移量，数据类型是LongWritable；value值是每行的内容，数据类型是Text。

（2）OutputFormat

　　每一种输入格式都有一种输出格式与其对应。默认的输出格式是TextOutputFormat， 这种输出方式与输入类似，会将每条记录以一行的形式存入文本文件。不过，它的键和值可以是任意形式的，因为程序内容会调用toString()方法将键和 值转换为String类型再输出。

二、新版源码如下：
package com.hadoop.test1;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {
   public static class TokenizerMapper extends
         Mapper {
      private final static IntWritable one = new IntWritable(1);
      private Text word = new Text();

      protected void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {
         StringTokenizer tokenizer = new StringTokenizer(value.toString());
         while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
         }
      }
   }

   public static class IntSumReducer extends
         Reducer {
      private IntWritable result = new IntWritable();

      protected void reduce(Text key, Iterator values,
            Context context) throws IOException, InterruptedException {
         int sum = 0;
         while (values.hasNext()) {
            sum += values.next().get();
         }
         result.set(sum);
         context.write(key, result);
      }
   }

   public static void main(String[] args) throws IOException,
         InterruptedException, ClassNotFoundException {

      // section 1
      Configuration conf = new Configuration();
      String[] otherArgs = new GenericOptionsParser(conf, args)
            .getRemainingArgs();
      if (otherArgs.length != 2) {
         System.err.println("Usage : wordcount ");
         System.exit(2);
      }
      Job job = new Job(conf, "wordcount");
      job.setJarByClass(WordCount.class);

      // section2
      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(IntWritable.class);

      // section3
      job.setMapperClass(TokenizerMapper.class);
      job.setCombinerClass(IntSumReducer.class);

      // section4
      FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
      FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

      // section5
      System.exit(job.waitForCompletion(true) ? 0 : 1);

   }
}

      Map过程需要继承org.apache.hadoop.mapreduce包中Mapper类，并重写其 map方法。通过在map方法中添加两句把key值和value值输出到控制台的代码，可以发现map方法中value值存储的是文本文件中的一行（以回 车符为行结束标记），而key值为该行的首字母相对于文本文件的首地址的偏移量。然后StringTokenizer类将每一行拆分成为一个个的单词，并 将作为map方法的结果输出，其余的工作都交有MapReduce框架处理。

      Reduce过程需要继承org.apache.hadoop.mapreduce包中Reducer类，并重写其reduce方法。Map过程输出中 key为单个单词，而values是对应单词的计数值所组成的列表，Map的输出就是Reduce的输入，所以reduce方法只要遍历values并求 和，即可得到某个单词的总次数。

      在MapReduce中，由Job对象负责管理和运行一个计算任务，并通过Job的一些方法对任务的参数进行相关的设置。此处设置了使用 TokenizerMapper完成Map过程中的处理和使用IntSumReducer完成Combine和Reduce过程中的处理。还设置了Map 过程和Reduce过程的输出类型：key的类型为Text，value的类型为IntWritable。任务的输出和输入路径则由命令行参数指定，并由 FileInputFormat和FileOutputFormat分别设定。完成相应任务的参数设定后，即可调用 job.waitForCompletion()方法执行任务。

三、MapReduce新旧对比

　Hadoop最新版本的MapReduce Release 0.20.0的API包括了一个全新的Mapreduce JAVA API，有时候也称为上下文对象。

　　新的API类型上不兼容以前的API，所以，以前的应用程序需要重写才能使新的API发挥其作用 。

　　新的API和旧的API之间有下面几个明显的区别。

• 新的API倾向于使用抽象类，而不是接口，因为这更容易扩展。例如，你可以添加一个方法(用默认的实现)到一个抽象类而不需修改类之前的实现方法。在新的API中，Mapper和Reducer是抽象类。

• 新的API是在org.apache.hadoop.mapreduce包(和子包)中的。之前版本的API则是放在org.apache.hadoop.mapred中的。

• 新的API广泛使用context object(上下文对象)，并允许用户代码与MapReduce系统进行通信。例如，MapContext基本上充当着JobConf的OutputCollector和Reporter的角色。

• 新的API同时支持"推"和"拉"式的迭代。在这两个新老API中，键/值记录对被推mapper中，但除此之外，新的API允许把记录从map()方法中拉出，这也适用于reducer。"拉"式的一个有用的例子是分批处理记录，而不是一个接一个。

• 新的API统一了配置。旧的API有一个特殊的JobConf对象用于作业配置， 这是一个对于Hadoop通常的Configuration对象的扩展。在新的API中，这种区别没有了，所以作业配置通过Configuration来 完成。作业控制的执行由Job类来负责，而不是JobClient，它在新的API中已经荡然无存