Windows下编译hadoop 2.x Hadoop-eclipse-plugin插件

  1. 由于使用的Hadoop版本是2.7.3,没有相应的Eclipse开发插件,就只好自己编译一个。

  2. 编译环境:
    2.1 JDK配置
    2.2安装Eclipse,只需按正常开发配置好,能运行HelloWorld即可
    2.3配置Ant,添加%ANT_HOME%\bin到PATH,执行ant -version,即可显示Ant版本,说明配置好了
    2.4下载hadoop二进制包,解压
    2.5下载编译Eclipse开发插件的插件source,目前hadoop2的eclipse-plugins源代码由github脱管,下载地址是https://github.com/winghc/hadoop2x-eclipse-plugin,然后在右侧的Download ZIP连接点击下载,即可下载hadoop2x-eclipse-plugin-master.zip,之后解压到本地

  3. 开始编译
    3.1以管理员身份运行CMD,切换到E:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin,灰色部分是我的解压目录。
    3.2执行编译,命令如下:
    ant jar -Dversion=2.7.3 -Dhadoop.version=2.7.3 -Declipse.home=E:\eclipse-jee-neon-R-win32-x86_64\eclipse -Dhadoop.home=E:\hadoop-2.7.3
    命令说明:
    version: 编译的Eclipse版本
    hadoop.version: 要编译的Hadoop版本
    eclipse.home: eclipse home路径
    hadoop.home: hadoop 2.x home 路径
    注:编译可能出错,原因是编译的Hadoop版本所依赖的jar包版本有变化,可修改2个地方来重新指定依赖的jar包版本:
    1.不同的hadoop版本, 可调整 hadoop2xeclipsepluginmaster/ivy/libraries.properties2. {hadoop2x-eclipse-plugin}/src/contrib/eclipse-plugin/build.xml文件中的 htrace.version.jar/>htracecore3.1.0incubating.jarlib/htracecore {htrace.version}-incubating.jar”/>,此处只需注意编译失败提示,根据提示修改即可。
    3.3 编译成功之后,会在E:\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下出现编译好的Eclipse插件:hadoop-eclipse-plugin-2.7.3.jar

  4. 在Eclipse中配置插件
    4.1 将生成的插件放在eclipse的E:\eclipse-jee-neon-R-win32-x86_64\eclipse\plugins目录下,然后重启Eclipse后,即可在Window–>Preferens中看到Hadoop Map/Reduc选项,之后点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

你可能感兴趣的:(Java)