Hadoop MapReduce测试word count功能

在hadoop的mapreduce目录下自带有一个hadoop-mapreduce-examples-2.7.5.jar(官方已经为我们写好了用java实现word count的jar)可以用来测试word count的功能。

• 测试之前先创建用来做词频统计的文件：

[root@hadoop01 ~]# mkdir word_count_input
[root@hadoop01 ~]# cd word_count_input
[root@hadoop01 word_count_input]# vi file1
[root@hadoop01 word_count_input]# cat file1
hello world
welcome to jave world
hadoop mapreduce
[root@hadoop01 word_count_input]# vi file2
[root@hadoop01 word_count_input]# cat file2
java hadoop
hadoop world
hello mapreduce

• 启动hadoop集群

[root@hadoop01 word_count_input]# start-all.sh

• 将这两个文件上传至hdfs

[root@hadoop01 ~]# hdfs dfs -put word_count_input/ /
#这里我将文件上传到了hdfs的根目录

查看已上传的文件：

[root@hadoop01 ~]# hdfs dfs -cat /word_count_input/*

•  进入到jar所在目录运行jar

[root@hadoop01 mapreduce]# pwd
/usr/local/wyh/hadoop-2.7.5/share/hadoop/mapreduce

#这里存放输出结果的目录(/word_count_output)是必须不存在的，它会自动帮我们创建该目录。
[root@hadoop01 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /word_count_input /word_count_output

• 查看运行结果

[root@hadoop01 mapreduce]# hdfs dfs -cat /word_count_output/*

• 查看resource manager的ui

http://192.168.126.132:8088/

这个 端口是在yarn-site.xml中配置的：

 可以看到这里的一个job就是刚才我们运行时创建的job。