Hadoop(四)MapReducer集群模式下运行WordCount的两种方式

本测试用的代码样例

• WordCount源码在我的另一个博客链接如下：

https://blog.csdn.net/Kruskual/article/details/108487446

打包前的准备工作

• 上传文件到集群
  红框内为上传按钮

• 查看集群的文件目录
  我们要修改源码中的输入输出路径，改为集群上的路径
  输入路径存放你要计数的文件，输出路径为不存在路径。
  打开集群，登录hdfs网页即在浏览器输入hadoop32:9870(这是我的，不懂的去看我的hadoop急速入门博客)
  打开集群，登录hdfs网页红色框内为查看目录信息，绿色框内为当前目录，我把word.txt放在了input里，在这就不展示了。

• 修改路径
  如图所示：

• 关联自己的driver
  代码如下

//关联Jar
       job.setJarByClass(WordCountDriver.class);

集群模式下运行方式一：提交jar包

• 用maven打jar包

将打包好的jar包上传到hadoop32
输入代码

hadoop jar MRTest-1.0-SNAPSHOT.jar com.yuaf.wordcount.WordCountDriver /user/yuaf/input /user/yuaf/output

看到

在web端口看到出现output文件夹且有文件。
我们打开查看一下
此时看到和单机模式下结果一样。

方式二：在集群上直接提交

先留着，过几天再跟，这周无休难受！