1.2.2.4eclipse开发MapReduce

总目录:https://www.jianshu.com/p/e406a9bc93a9

Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd

开发环境搭建：

阶段一：

安装eclipse Linux版。

下载hadoop-eclipse-plugin-XXX.jar，xxx为hadoop版本号。下载完成后，将插件放到eclipse安装目录中plugins目录下。

阶段二：

运行eclipse，Window-preferences-Hadoop Map/Reduce设置目录为Hadoop安装目录。

配置集群中Hadoop的路径

开启Hadoop，Windows—Open Perspective—Other，选中Map/Reduce,ok

打开map/reduce工作区

之后在上方出现MapReduce工作区，在下方会出现Map/Reduce Locations和蓝色小象图标。

创建连接

点击Map/Reduce Locations选项卡，点击蓝色小象，打开配置窗口。

配置项

Location name随便填写，Map/Reduce（v2）Master中host填写master的IP或者网络名，port为yarn文件中scheduler配置端口。DFS Mster中port为core文件中fs配置端口。User name为用户名。

mapred-site.xml

core-site.xml

出现这个正确

hdfs目录

阶段三

新建MapReduce项目。

创建项目

下一步

项目名

建立MapReduce程序

建立程序

包名

main程序