linux下eclipse hadoop插件配置

       刚开始学习hadoop,自己想搭建一个友好到变成环境,在参考了《hadoop实战》和网上大家到经验之后,决定用采用eclipse。既然用到eclipse,则必须要用到eclipse-hadoop-plugin。

       hadoop2.0之后的eclipse-hadoop插件有两种获得方式:

        1. 自己编译,具体编译方法可以参考网上大家到博客;

        2. 由github托管到eclipse-hadoop-plugin-2X的压缩包里,有一个已经编译好的plugin.jar,可以直接拿来用,运气好的话是可以成功到。下载地址:


        本人在将eclipse-hadoop-plugin.jar放到eclipse安装目录下的plugins路径下之后,按照《实战》中到配置方法,建立了一个DFS location,但是会弹错误:

"Map/Reduce location status updater". java.lang.NullPointerException,处女座的我不能忍。不过在长时间的纠结之后,仍旧解决不了该问题。所幸这个警告不影响hdfs的连接/增加删除目录,但是前提是hadoop一定要配置完善。

        之后我在hadoop安装目录下,经过以下命令:

        1.     sbin/start-all.sh  开启hadoop

        2.     bin/hadoop fs -mkdir -p newInput 建立一个文件夹

        3.     注意:在eclipse中配置hadoop location时,一定要将Host填写为ip地址(192.168.21.134),而不能写localhost,否则链接不上hdf。

        然后重启eclipse,刷新dfs locations ,发现果然能够显示hdfs下的目录了。下一步准备在eclipse环境下运行wordcount,希望能够成功!(准备参考http://booby325.iteye.com/blog/1309940)




参考博客:

1. http://blog.csdn.net/hongweigg/article/details/7197662

2. http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

你可能感兴趣的:(eclipse,hadoop,linux)