单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结

一、单机版Hadoop-2.7.3+Hbase-1.3.1运行状态

1、linux端进程

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第1张图片

2、访问节点:16010


说明节点一切正常。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第2张图片
二、windows10端eclipse配置

1、安装JKD,并配置环境变量。



单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第3张图片

2、使用和linux下运行的同版本Hadoop和Hbase,解压,并配置环境变量。



单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第4张图片

3、配置ip映射

如果使用了自定义的主机名,需要在C:\WINDOWS\system32\drivers\etc\hosts文件中进行ip与文件名的映射配置。

不过如果直接用IP来表示位置的话,就不用设置了。
三、eclipse中的配置

1、配置连接hadoop集群


首先需要找到hadoop-eclipse-plugin-X.X.X.jar
X.X.X是版本号。

https://github.com/winghc/hadoop2x-eclipse-plugin
应该都是用的基于hadoop2x-eclipse-plugin,所以可以直接拿来用。

一定要找到对应的版本号的包,否则报错都无从查起。

动手能力强的童鞋可以自己编译,用ant。

最后把这个包拷贝到eclipse/plugin文件夹下。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第5张图片

还有对应版本的hadoop.dll, winutils.exe.

将这两个文件拷贝到%HADOOP_HOME%/bin目录下。



单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第6张图片

打开eclipse--》preferences--》Hadoop Map/Reduce


单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第7张图片

把刚解压缩的hadoop的根目录加到这里,Apply。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第8张图片
在这里右键--》New Hadoop Location。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第9张图片

把相关信息加进来。Master的host ip和Port,还有DFS的配置都在hadoop的设置文件里,统一就行了。

配置好以后,Project Explorer下回出现

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第10张图片




说明配置好。 


接下来就是连接Hbase了。

2、eclipse连接Hbase集群及运行遇到的一个问题


新建项目。

将%HBASE_HOME%/lib下的所有jar包拷贝到项目根目录下(新建一个lib文件夹)。

在项目上右键,build Path--》configure build path--》Add Exteral JARS

把刚才的lib目录下的所有jar包都加进来。

单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第11张图片


Projec Explorer下面的这个工程后面会出现Referenced Libraies。里面就是lib下的所有包。


一开始我试图新建User libraries,同样是把所有的lib下的包都导进来,运行Hbase程序会报错。


单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第12张图片





一直找不出来是什么原因。

最后试着就找出来这个包的原因了。


单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结_第13张图片

更换jar包导入方式以后,就成功了。





你可能感兴趣的:(单机版Hadoop-2.7.3+Hbase-1.3.1,Windows10-eclipse Java Oxygen版本配置及遇到问题总结)