Hadoop Eclipse 开发环境的构建

1.安装eclipse
  下载的eclipse包直接解压即可。
2.hadoop-eclipse插件的配置
  本文使用的Hadoop为1.2.1版本,网上很多教程说该插件在hadoop-1.2.1/contrib/目录下,但是我发现该目录下并没有该插件,如下:
  
  查了一下,发现该插件需要自己编译,而该插件的源码在/hadoop-1.2.1/src/contrib/eclipse-plugin/目录下,本文并没有编译,直接在网上下载了一个他人编译好的,具体的编译方法请参考博文 http://www.cnblogs.com/alex-blog/p/3160619.html。
得到hadoop-eclipse-plugin-1.2.1.jar插件后,我们只需将其移动eclipse安装目录下的plugins目录下即可。
3.eclipse上配置Hadoop环境。
 ① 打开eclipse,选择window->Preferences菜单,选择左侧的Hadoop Map/Reduce,按下图配置hadoop的安装位置。
     Hadoop Eclipse 开发环境的构建_第1张图片
 ② 选择eclipse中的window->Show View->Other,选择MapReduce Tools下的Map/Reduce Locations,如下图
     Hadoop Eclipse 开发环境的构建_第2张图片
 ③ 上步操作完成后,会出现如下窗口。
     Hadoop Eclipse 开发环境的构建_第3张图片
    将鼠标放在浅红色区域,右键选择New Hadoop Location
 ④ 配置Hadoop Location
    Hadoop Eclipse 开发环境的构建_第4张图片
   其中的Location name随便写,Map/Reduce Master配置与 hadoop-1.2.1/conf/mapred-site.xml 中的一样,DFS Master的配置与 hadoop-1.2.1/conf/core-site.xml 一样。
至此,配置工作完成。
5.测试是否配置成功
  我们新建一个project,然后选择Map/Reduce Project,再点击完成时,由于我们是第一次建Map/Reduce工程,会出现如下的窗口,我们选择Yes即可。
   Hadoop Eclipse 开发环境的构建_第5张图片
  然后,在工程视图窗口,我们看到DFS的文件结构,就说明我们的配置成功了。
   Hadoop Eclipse 开发环境的构建_第6张图片


在windows下编写hadoop程序时,需要将Linux下的hadoop拷贝到window下,注意配置文件到要完全一样。

错误处理:
Hadoop Eclipse 开发环境的构建_第7张图片
修改Linux服务器上的hadoop下的hdfs-core.xml文件,将dfs.permissions属性设置为false即可。并重启一下Hadoop。








来自为知笔记(Wiz)


附件列表

  • 2015-01-25_225521.png

 

你可能感兴趣的:(Hadoop Eclipse 开发环境的构建)