IntelliJ IDEA中编写mapreduce程序上传至远程Hadoop集群运行

IntelliJ IDEA中编写mapreduce程序上传至远程Hadoop集群运行

本文主要讲怎么将$mapreduce$程序打包成$jar$包并上传远程$Hadoop$集群运行，所以不讨论如何编写$mapreduce$程序以及如何搭建$Hadoop$集群。然后虽然我这里实在$macOS$系统下演示的，其实$windows$系统一样适用。

• 先来看一下打包前的项目结构$(input$里面是存的要处理的数据$)$

• 右键项目选择$OpenModuleSetting$

  

• 选择$Artifacts\to +\to JAR\to Frommoduleswithdependencies$

  

• 选择主类

  先选择你这个项目的主类
  

    然后把这里的路径改成项目位置的一级目录下面，如下图所示：
  

• 点击$Apply$

  

• 选择$Build\to BuildArtifacts$

• 选择$Build$

• 可以看到$jar$包已经生成

  上述操作之后会发现项目下面多了两个文件夹，一个是$META-INF$ (这个不用管他)，另一个是$out$文件夹，在里面有你要的$jar$包
  

• 在终端或者$cmd$里面$ssh$到你的远程虚拟机

  

• 然后上传刚才生成的$jar$包

  我这里直接放在了$Home$下面，也就是上图中的红色文件（我是提前传上去了）

• 运行之前要检查你的$Hadoop$集群是否正确运行

  这里根据你的集群是伪分布模式还是完全分布式集群，使用$jps$命令查看所有必须的进程是否已经启动（有哪些进程与你搭建集群时的配置有关系）

• 然后将你的数据上传至$hdfs$

  你可以先将数据从本地上传到虚拟机上，然后使用一下命令上传到$hdfs$:

  hdfs dfs -put 虚拟机本地jar包存储完整路径 hdfs文件系统存储的路径
  

• 最后测试啦

  命令如下所示（以我的例子为例）：

  [hadoop@CQU-Hadoop-052 ~]$ hadoop jar PlayerCount.jar /wzw/input /wzw/output
  

  注意这里运行之前$/wzw$下面只有一个$input$文件夹，$output$文件夹是没有的且不能有的。所以运行之前最好检查一下是否有这个目录，不然会报错。下面是运行结果
  
  
  可以看到运行成功了
  
  浏览器进入配置$resourcemanager$的节点的$8088$端口（好像这个是默认的，如果修改了的话可能不是这个，如果忘记了的话可以翻一下你的那几个$xml$配置文件）也可以看到刚才提交的$job$ 是$SUCCEEDED$状态