如何再hadoop集群上跑我们自己写MapReduce程序

如何再hadoop集群上跑我们自己写MapReduce程序

1.首先我们要将想要被执行的文件放到HDFS上去,例如我在hadoop102:9870 / 路径下创建了一个input文件下 放入我们需要被执行的文件 word.txt

  1. 将我们再 idea上写的wordcount打包,并且把这个包上传到 linux 上去,然后鼠标右击 driver类,选择copy reference

如何再hadoop集群上跑我们自己写MapReduce程序_第1张图片

  1. 再linux 下找到导入了自己编写的 MapperReducer.jar 包

  2. 输入指令

    hadoop jar MapperReducer-1.0-SNAPSHOT.jar wordcount2.WordCountDriver /input /output

wordcount2.WordCountDriver ------这一串就是我们之前得到的Copy-Refernece 粘贴即可 /input /output 是因为我们配置了默认 core-site.xml 文件中的路径,如图所示(快速获取路径)
在这里插入图片描述

如何再hadoop集群上跑我们自己写MapReduce程序_第2张图片
如果没有配置的话:就需要写成 hdfs://hadoop102:9820/input
hdfs://hadoop102:9820/output
hdfs://hadoop102:9820/output

你可能感兴趣的:(大数据hadoop)