eclipse连接Hadoop远程提交代码

eclipse连接Hadoop远程提交代码

  • 安装eclipse
  • 安装hadoop插件
  • 配置hadoop插件
  • 连接到Hadoop
  • 创建Map/Reduce项目
  • 测试WordCount

安装eclipse

链接:https://pan.baidu.com/s/1tyMPBXfIdybJpG-r-ZbcNw

提取码:j986

下好后将压缩包移动到/opt目录

mv eclipse-jee-luna-SR2-linux-gtk-x86_64.tar /opt

然后切换到/opt目录

cd /opt

解压缩包

tar -zxvf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar

在/usr/bin目录为该Eclipse创建软链接

ln -s /opt/eclipse/eclipse /usr/bin/eclipse

eclipse连接Hadoop远程提交代码_第1张图片
将该软链接复制到桌面启动即可

安装hadoop插件

链接:https://pan.baidu.com/s/1sJOG_sjWXrnc-loXSC0UbQ

提取码:hf2i


将该插件直接拖入eclipse的插件目录下
如果是按照上面教程安装的则在

/opt/eclipse/plugins

将插件拖入这个目录重启eclipse即可(这个插件是hadoop2.7.4版本的,其他版本使用可能会出问题,建议下载符合自己版本号的)
eclipse连接Hadoop远程提交代码_第2张图片
如果出现红框内的内容则插件安装成功

配置hadoop插件

点击Preferences
eclipse连接Hadoop远程提交代码_第3张图片
这里要选择hadoop的安装目录
eclipse连接Hadoop远程提交代码_第4张图片
然后按照图示点击Other
eclipse连接Hadoop远程提交代码_第5张图片
找到Map/Reduce Locations后选择点击OK
eclipse连接Hadoop远程提交代码_第6张图片
然后会出现如图的界面,刚安装是没有节点的,我这里是创建了一个节点
eclipse连接Hadoop远程提交代码_第7张图片

连接到Hadoop

右键选择New Hadoop location
eclipse连接Hadoop远程提交代码_第8张图片
Location name可以自己起,因为我搭建的是伪分布式Hadoop用的是本地的节点所以Host是localhost,如果是远程的则要用节点的IP
eclipse连接Hadoop远程提交代码_第9张图片
配置好后就可以看到HDFS中的目录与文件并可以直接创建目录和右键上传,我这里直接右键上传了Hadoop安装目录下的README.txt文件来做WorldCount测试
eclipse连接Hadoop远程提交代码_第10张图片

创建Map/Reduce项目

在File中NEW下选择Other
eclipse连接Hadoop远程提交代码_第11张图片
找到Map/Reduce Project点击Next
eclipse连接Hadoop远程提交代码_第12张图片
起个项目名创建就成功创建了一个Map/Reduce项目
eclipse连接Hadoop远程提交代码_第13张图片

测试WordCount

这里我将hadoop中的WordCount.java复制过来
路径在hadoop安装路径下

hadoop/src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/WordCount.java

eclipse连接Hadoop远程提交代码_第14张图片
在53行有一个otherArgs,这个是设置输入文件和输出文件的路径的,原本是通过命令行直接赋参数给args来获取的,现在通过celipse需要对该变量进行修改
在这里插入图片描述
这里可以看出该字符串数组的前n-1个地址均为输入地址,最后一个地址是输出地址
eclipse连接Hadoop远程提交代码_第15张图片
因为是测试所以我只设置一个输入地址

	String[] otherArgs = new String[]{"hdfs://localhost:9000/input/","hdfs://localhost:9000/output/test"};

然后运行该程序
eclipse连接Hadoop远程提交代码_第16张图片
eclipse连接Hadoop远程提交代码_第17张图片
成功运行并输出结果

你可能感兴趣的:(eclipse连接Hadoop远程提交代码)