大数据入门之Hadoop生态系统(8) -- MapReduce词频统计Java编程实现

1.前置要求

IDEA，JDK1.7+，Maven3.3.9+

我们在编程之前，先准备一份hello.txt文件(放在虚拟机Linux系统下)，用来后续的编程测试，内容随便写点就行，单词和单词之间以空格分隔。

hadoop welcome
hadoop hdfs mapreduce
hadoop hdfs

2.代码编写

package com.imooc.hadoop.mapreduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * 使用MapReduce开发WordCount应用程序
 */
public class WordCount2App {

    /**
     * Map：读取输入的文件
     * LongWritable：文件的偏移量，第一行从0开始，第二行就是0+第一行出现的字符数
     * Text：一行一行的数据
     * Mapper 的四个参数：输入的key，输入的value，输出的key，输出的value
     */
    public static class MyMapper extends Mapper {

        LongWritable one = new LongWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //接受到的每一行的数据
            String line = value.toString();
            //按照指定分隔符进行拆分
            String[] words = line.split(" ");
            for (String word : words) {
                //通过上下文把map的处理结果输出
                context.write(new Text(word), one);
            }
        }
    }

    /**
     * Reduce：归并操作
     * Reduce 的四个参数：输入的key，输入的value，输出的key，输出的value
     */
    public static class MyReducer extends Reducer {
        @Override
        protected void reduce(Text key, Iterable values, Context context) throws IOException, InterruptedException {
            long sum = 0;
            for (LongWritable value : values) {
                //求key出现的次数总和
                sum += value.get();
            }
            //最终统计结果的输出
            context.write(key, new LongWritable(sum));
        }
    }

    /**
     * 定义Driver：封装了MapReduce作业的所有信息
     * @param args
     */
    public static void main(String[] args) throws Exception {
        //创建Configuration
        Configuration configuration = new Configuration();

        //准备清理已存在的输出目录，如果不清理，第二次就会因为输出目录存在而报错
        Path outputPath = new Path(args[1]);
        FileSystem fileSystem = FileSystem.get(configuration);
        if (fileSystem.exists(outputPath)) {
            fileSystem.delete(outputPath, true);  //递归删除已创建的目录
            System.out.println("output file exists, but is has deleted");
        }

        //创建Job，jobName随便填就行
        Job job = Job.getInstance(configuration, "wordcount");
        //设置job的处理类
        job.setJarByClass(WordCount2App.class);

        //设置作业处理的输入路径
        FileInputFormat .setInputPaths(job, new Path(args[0]));
        //设置map相关参数
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);  //要和map的输出参数的类型对应
        job.setMapOutputValueClass(LongWritable.class);
        //设置reduce相关参数
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);  //要和reduce的输出参数的类型对应
        job.setOutputValueClass(LongWritable.class);
        //设置作业处理的输出路径
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //提交job运行，true表示将运行进度等信息及时输出给用户
        System.exit(job.waitForCompletion(true) ? 0 : 1);

    }
}

这里呢，我们文件的输入路径和输出路径都是要在提交到YARN上运行的时候指定。

3.打包提交到YARN上运行

第一步，我们把这个项目打成jar包，打包方式有很多，我们可以在IDEA打开Terminal终端输入“mvn clean package -DskipTests”

第二步，我们可以在左边的目录结构中的target目录下，找到hadoop-train-1.0.jar，用Xftp工具上传到Linux虚拟机上即可。

第三步，因为我们要用到HDFS和YARN，所以我们先把这两个启动起来，进入hadoop下的sbin目录，"./start-all.sh"，然后查看一下进程“jps”，理论上除了Jps，会有5个新的进程。

第四步：我们把hello.txt上传到HDFS中，“hadoop fs -put hello.txt /”，这样我们就传到了HDFS的根目录下。

第五步：执行如下命令，其中具体参数可以根据自己情况修改

hadoop jar ~/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.WordCount2App hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc

~/lib/hadoop-train-1.0.jar：是我们jar包的路径

com.imooc.hadoop.mapreduce.WordCount2App：是我们的主类的全路径

hdfs://hadoop000:8020/hello.txt：输入路经，HDFS中hello.txt的路径

hdfs://hadoop000:8020/output/wc：输出路径，HDFS中存放结果的路径 

第六步：查看结果，到HDFS的/output/wc目录下查看结果，结果如下。