一、环境配置
安装0hadoop-eclipse-plugins不是必须的,但是安装了后开发使用比较方便,一是对hadoop中的文件可视化。二是创建MapReduce Project时引入依赖的jar。
下一步将进行 MapReduce 的开发,在开发之前,首先要安装 Eclipse 插件,这个插件就是 Hadoop-Eclipse-Plugin,安装这个还有点麻烦,原因是:
1、Mac 环境
Mac 环境安装 Eclipse 是专用的 Eclipse.App,其 Plugins 的位置和其它版本不一样。
2、Eclipse OxyGen 最新版本
Eclipse OxyGen 版本也和其它的安装不一样,可以看到位置在 /Applications/Eclipse.app/Contents/Eclipse下。
还要注意的是,Eclipse 在 Mac 中,插件并非是放在 /Applications/Eclipse.app/Contents/Eclipse/plugins 目录下,而是在你的 Home 目录下. ~/.p2/pool/plugins,这个目录中。
3、Hadoop-Eclipse-Plugin
这是一个插件,它的源代码在 Github上,地址是:
https://github.com/winghc/hadoop2x-eclipse-plugin
可以使用 git clone 下载下来。
git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git
二、编译Hadoop-Eclipse-Plugin
1、准备 Eclipse 的 Plugins包
在编译前,需要知道 Eclipse 的插件包在哪里,上面说过,是在~/.p2/pool/plugins 中。
2、Hadoop 的安装位置
本系统是在 ~/hadoop 中
3、git clone 到一个目录中, 本机是在~/source 中
4、进入到目录:~/source/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin$
5、该目录下有一个 build.txt 文件,查看该文件,里面有需要的 jar 文件支持
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
请确保,~/.p2/pool/plugins目录下有这些 jar 文件,我编译的时候就缺乏 org.eclipse.team.cvs.*文件。
6、开始编译
确保你已经安装了 apache ant 软件哦。
ant jar -Dversion=2.6.4 -Dhadoop.version=2.6.4 -Declipse.home=$HOME/.p2/pool/ -Dhadoop.home=/Users/wangxinnian/hadoop
因为我的 hadoop 是使用的2.6.4版本,所以,标注版本是2.6.4
7、问题
第一次编译,有错误:
UILD FAILED
/Users/wangxinnian/source/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin/build.xml:118: Warning: Could not find file /Users/wangxinnian/hadoop/share/hadoop/common/lib/commons-collections-3.2.1.jar to copy.
缺乏commons-collections-3.2.1.jar ,但是这个目录下有commons-collections-3.2.2.jar,所以:
cp commons-collections-3.2.2.jar commons-collections-3.2.1.jar
8、最后顺利编译完成, 最后产生的 jar 文件
[jar] Building jar: /Users/wangxinnian/source/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.4.jar
三、安装hadoop-eclipse-plugin-2.6.4.jar
很麻烦,Oxygen 在 install new software 中不支持直接安装此文件。
很麻烦, 将文件拷贝到~/.p2/pool/plugins,也无效
很麻烦, 将文件拷贝到eclipse 的安装目录:/Applications/Eclipse.app/Contents/Eclipse/plugins,也无效
一筹莫展, 最后,将文件拷贝到/Applications/Eclipse.app/Contents/Eclipse/dropins, 可以了。
后来看了看,也许在eclipse 的安装目录下,plugins 和 dropins都必须拷贝 才行。
四、启动 Eclipse,设置 Hadoop 的运行路径
在偏好设置中(preference...)中,就可以看到 Hadoop Map/Reduce,并在右边设置 Hadoop 的安装目录即可。
然后,要在界面上显示出这个视图,
Window->show view,选择 other...
然后在界面上显示 Map/Reduce Locations 的标签
至此,该插件已经正确安装。
五、插件的配置
在 Map/Reduce Locations 空白处鼠标右键,弹出对话框
选择 New Hadoop location
将上面箭头处的项目填写上, Location name 随便填写, Host 填写 master 的主机名, 端口统一填写9000,由于 Hadoop 2.2以后没有 jobtracker,所以,都填写9000, 填写完毕后,在 project 浏览器视图上可以看到 DFS Locations,可以直接查看 HDFS 的内容。
在 DFS Locations 上的文件夹上点击鼠标右键,弹出相应的菜单进行操作。下载、创建新目录、上传文件和上传目录。