通过hadoop jar命令运行提交MapReduce到YARN中

实现 Wordcount

大概流程：给定数据输入的路径，给定结果输出的路径；

将输入路径内的数据中的单词进行计数，将结果写到输出路径

如下：

在hadoop下找hadoop-mapreduce-examples-3.1.3.jar   

cd /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 

切换到home路径（~）

cd ~

编辑一个文档word.txt

vim word.txt

#在里面随便输入单词

通过如下查看hadoop下已有文件

hadoop fs -ls /

在hadoop下创建input和output文件夹

hadoop fs -mkdir -p /input
hadoop fs -mkdir /output

再查看

hadoop fs -ls /

将word.txt放入hadoop的input文件夹下

 hadoop fs -put words.txt input/

可再次查看确认；

通过hadoop jar命令运行提交MapReduce到YARN中，并存到output的wc下：

hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount hdfs://master:9000/input hdfs://master:9000/output/wc

通过

hadoop fs -ls /output/wc

查看wc文件

再通过

hadoop fs -cat /output/wc/part-r-00000

就完成了