Eclipse上搭建hadoop环境【含编译hadoop2x-eclipse-plugin插件】

一、在windows下载hadoop

hadoop下载网址：
http://hadoop.apache.org/releases.html

注意：hadoop版本必须与搭建hadoop集群的版本一致
我这里用的是hadoop2.6.1

环境变量的配置
在系统环境变量中添加HADOOP_HOME

在Path中添加 " %HADOOP_HOME%\bin"
配置完成后，运行CMD，输入hadoop -version
成功引来了一个错误！

这个错误是由于Hadoop中java环境变量配置错误导致的，查询网上的解决方法，可知修改hadoop配置文件即可解决。

参考博客
https://blog.csdn.net/u010993514/article/details/82079962

打开hadoop中的etc目录下的hadoop-env.cmd文件D:\hadoop\hadoop-2.6.1\etc\hadoop\hadoop-env.cmd
找到下面这行代码：

然后找到你安装的jdk路径，这这条代码下面加入你的路径，由于我没有用软链代替所以路径要用引号包围：

这时候我们再打开cmd看看
输入hadoop version
虽然说多了第一行，但也是成功的。
如果实在看不习惯，只要将上面JAVA_HOME的路径使用软链代替即可。

二、开始搭建eclipse上的hadoop环境

打开hadoop2.6_winutils_x64将里面的winutils.exe拷贝到hadoop的bin目录下
有需要的可到这个链接下载：
hadoop2.6_winutils_x64

再将里面的hadoop.dll拷贝到C:\Windows\System32中

接下来安装eclipse的hadoop插件
从网上下载hadoop2x-eclipse-plugin-master
注意：如果是从网上下载的要自己进行编译,编译过程在文末

我这里用的是已经编译好的
打开hadoop2x-eclipse-plugin-master把里面的hadoop-eclipse-plugin-2.6.1拷贝到eclipse里面的plugins
（压缩包我已上传，有需要的可自行下载）

打开eclipse --> preferences
出现hadoop Map/Reduce或者点击右边没有报错就代表成功，然后把hadoop路径配上

然后window --> show view --> other
出现下面这个，点击OK就会出现一个蓝色小象


点击蓝色小象，出现这个页面就代表hadoop就配置成功

PS：插件编译过程

下载ant并配置环境变量
下载网址：https://ant.apache.org/bindownload.cgi

环境变量配置
ANT_HOME

Path

cmd查看是否安装成功

接下来需要下载hadoop2x-eclipse-plugin-master.zip

可在这个链接下载（下载得很慢）
https://github.com/winghc/hadoop2x-eclipse-plugin#hadoop2x-eclipse-plugin

码云下载较快
https://gitee.com/xinjuan/hadoop2x-eclipse-plugin

下载完解压是这样子的

打开CMD进入到
D:\Software\hadoop\hadoop2x-eclipse-plugin-master(1)\hadoop2x-eclipse-plugin目录
接下来进入源码目录 cd src
再接着进入
cd contrib
cd eclipse-plugin

在这个目录下使用ant命令进行编译
输入 " ant jar -Dversion=版本 -Declipse.home = eclipse安装目录 -Dhadoop.home=hadoop安装目录 "
eg:
ant jar -Dversion=2.6.1 -Declipse.home=D:\Software\eclipse\eclipse-jee-mars-2-win32-x86_64\eclipse -Dhadoop.home=D:\Software\hadoop\hadoop-2.6.1

等待编译完成
在hadoop2x-eclipse-plugin-master(1)\hadoop2x-eclipse-plugin\build\contrib\eclipse-plugin目录里面就可以看到编译完成的jar包了。

在编译过程中发现，一直停在这里不动

解决方法：
找到eclipse-plugin目录下的build.xm文件
D:\Software\hadoop\hadoop2x-eclipse-plugin-master(1)\hadoop2x-eclipse-plugin\src\contrib\eclipse-plugin

找到这一行
将这一行修改为 target name=“compile” unless=“skip.contrib”
即去掉" depends=“init,ivy-retrieve-common”

然后在deprecation后面加上 includeAntRuntime=“false”

接下来在CMD输入ctrl+c 停止编译后重新编译
这时候又编译错误了！我晕

这个错误是因为找不到jar包，只要修改jar的版本即可解决
解决：打开…\hadoop2x-eclipse-plugin-master\ivy\libraries.properties文件，将报错的jar包版本号更换成与hadoop安装目录\share\hadoop\common\lib下的jar对应的版本号。

由上面报错可知，错误的是hadoop-auth.version(注意如果在文件中没有这个jar包可手动加入)。
我这里修改的是hadoop.version和hadoop-auth.version，如果你错误的是其他jar包可根据lib文件里面的版本进行修改。

继续重新编译，这时候CMD出现build successful以及在" \hadoop2x-eclipse-plugin\build\contrib\eclipse-plugin "目录下出现已经编译成功的hadoop-eclipse-plugin-2.6.1.jar
就表示已经编译成功

参考的博客
https://blog.csdn.net/jy02268879/article/details/80272362
https://blog.csdn.net/sl1992/article/details/53157808