Hadoop在Eclipse中的配置

我发现我这个人很难专心做一件事情,本来打算好好学习下Hadoop,结果跟Eclipse卯上了,折腾了几天。

因为项目需要,倒腾了一下Hadoop在Eclipse下的开发环境,其中涉及到Eclipse的版本问题,Hadoop的权限问题。

 

Hadoop版本:hadoop-0.20.2

Ecipse版本:Helios/Indigo

 

问题描述:

1. 将hadoop-0.20.2/contrib/eclipse-plugin目录下的文件复制到Eclipse(Helios)下,设置好Map/Reduce Locations后,无法浏览DFS文件,连接出错。

排查后,发现是Eclipse版本问题,不知道为啥,Helios对插件的支持有问题,切换到Indigo版本,问题解决。

 

2. 只能浏览DFS Location,无法添加、删除文件。

Hadoop的DFS权限问题,hadoop插件会默认使用本地用户名和组作为DFS的用户。

一说可以在服务器端关闭DFS的权限控制,通过修改DFS配置文件中的权限控制字段即可。另说可以在Eclipse中修改一个字段即可。按照另说的方法,修改插件设置页中“Advanced parameters"中的“hadoop.job.ugi”,修改为hadoop的用户名和组即可。

 

PS:出现“Run on hadoop”无效问题,排查后发现是hadoop在eclipse中的插件问题,更换最新版plugin插件即可。

你可能感兴趣的:(eclipse,hadoop)