eclipse连接Hadoop远程提交代码

安装eclipse

链接：https://pan.baidu.com/s/1tyMPBXfIdybJpG-r-ZbcNw

提取码：j986

下好后将压缩包移动到/opt目录

mv eclipse-jee-luna-SR2-linux-gtk-x86_64.tar /opt

然后切换到/opt目录

cd /opt

解压缩包

tar -zxvf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar

在/usr/bin目录为该Eclipse创建软链接

ln -s /opt/eclipse/eclipse /usr/bin/eclipse

将该软链接复制到桌面启动即可

安装hadoop插件

链接：https://pan.baidu.com/s/1sJOG_sjWXrnc-loXSC0UbQ

提取码：hf2i

---

将该插件直接拖入eclipse的插件目录下
如果是按照上面教程安装的则在

/opt/eclipse/plugins

将插件拖入这个目录重启eclipse即可（这个插件是hadoop2.7.4版本的，其他版本使用可能会出问题，建议下载符合自己版本号的）

如果出现红框内的内容则插件安装成功

配置hadoop插件

点击Preferences

这里要选择hadoop的安装目录

然后按照图示点击Other

找到Map/Reduce Locations后选择点击OK

然后会出现如图的界面，刚安装是没有节点的，我这里是创建了一个节点

连接到Hadoop

右键选择New Hadoop location

Location name可以自己起，因为我搭建的是伪分布式Hadoop用的是本地的节点所以Host是localhost，如果是远程的则要用节点的IP

配置好后就可以看到HDFS中的目录与文件并可以直接创建目录和右键上传，我这里直接右键上传了Hadoop安装目录下的README.txt文件来做WorldCount测试

创建Map/Reduce项目

在File中NEW下选择Other

找到Map/Reduce Project点击Next

起个项目名创建就成功创建了一个Map/Reduce项目

测试WordCount

这里我将hadoop中的WordCount.java复制过来
路径在hadoop安装路径下

hadoop/src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/WordCount.java

在53行有一个otherArgs，这个是设置输入文件和输出文件的路径的，原本是通过命令行直接赋参数给args来获取的，现在通过celipse需要对该变量进行修改

这里可以看出该字符串数组的前n-1个地址均为输入地址，最后一个地址是输出地址

因为是测试所以我只设置一个输入地址

	String[] otherArgs = new String[]{"hdfs://localhost:9000/input/","hdfs://localhost:9000/output/test"};

然后运行该程序


成功运行并输出结果