Hadoop Eclipse 插件配置

把hadoop-0.19.0-eclipse-plugin.jar，拷贝到eclipse-SDK- 3.4-win32/eclipse/plugins下面，启动eclipse，居然真的安装成功了，真的是该工具的升级版，也没有了那个错误！真的是很意外！界面是这样滴，选择Window->Open Perspective，可见到一个窗口，里面有一个小象图标：Map/Reduce，点击它，会打开一个新的Perspective。然后点击 Window->Show View，可以打开一个View，如图1所示，

 

图1

在这个View中，我们可以创建一个或多个Hadoop运行环境，这个运行环境，有点像，在Eclipse中配置JDBC数据库连接一样。如图2，图3所示：

 

图2

图3

配置完成以后，显示如图1左边的树形结构一样，这很像在Eclipse配置了，Tomcat的Server项目一样。配置完成以后，显示如图1左边的树形结构一样，这很像在Eclipse配置了，Tomcat的Server项目一样。

你点击view中的小象图标，很可能会报一个错误：
Cannot connect to the Map/Reduce location: hadoop@ubuntu1
java.io.IOException: Unknown protocol to name node: org.apache.hadoop.mapred.JobSubmissionProtocol
 at org.apache.hadoop.dfs.NameNode.getProtocolVersion(NameNode.java:84)
 at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:585)
 at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:452)
 at org.apache.hadoop.ipc.Server$Handler.run(Server.java:888)

我也遇到这个问题，很让我郁闷，我愿想是不是我的服务器哪里出了问题？后来才知道，是我的端口配置错误了，我在hadoop-site.xml中不是配置了:

fs.default.name
hdfs://ubuntu1:9000


mapred.job.tracker
hdfs://ubuntu1:9001

这两个端口很重要，9000是namenode的监听端口，而9001是jobtracker的监听端口，在图3的界面上新建DFS location时候，可以看到Map/Reduce Master，当时我还没弄明白，这是什么意思，现在才知道，这是jobtracker所在机器及监听端口，于是我设置成：host=ubuntu1,port=9001，而DFS Master中勾选Use M/R Master Host（意思是：是否使用与JobTracker相同的主机？）我的当然是勾上。端口当然也就是9000了，即host=ubuntu1，port=9000。

于是，连接the Map/Reduce location就不会再出现错误了。下面的用户是cdh，因为我的所有的ubuntu都是cdh的用户的。

我们可以用Web的方式来查看这个两个端口是否工作正常，namenode的Web访问端口是50070，由于我的namenode是建立在ubuntu1上的，因此，我要用Web方式访问namenode，那么在浏览器中敲入地址：http://ubuntu1:50070/，你就会看到一个页面，如下图4：

图4

 

而9001是也是可以用Web方式来访问的，我的namenode和jobtracker是在一台机器上的，网址是http://ubuntu1:50030/，如果你配置成功，可以打开如下图5的页面：

图5

tasktracker可以Web方式访问，由于我的tasktracker是建立在ubuntu2上的，因此网址是：http://ubuntu2:50060/，如果你配置成功，可以打开如下图6的页面：

图6

 

为了能找到本地的Hadoop安装目录，打开Window->Preferences->Hadoop Map/Reduce，将本地的Hadoop安装目录添加进来，这个安装目录实际上就是把hadoop-0.19.0.tar.gz用解压工具解压到一个目录下面。这个目录就是安装目录。我的就是F:/hadoop-0.19.0。如图7所示：

图7

点击File->New->Other，在弹出的窗口中会有Map/Reduce项目，如图8所示：

图8

 

点击下一步，如图9所示，

图9

 

再点击下一步，如图10所示，点击Finish就成了。

图10

 

右键点击自己所创建的项目，进入到Properties，打开界面如图11所示，可以在Java Build Path中，设置源代码和Java Doc路径，这样，你就可以看到Hadoop的所有Core源代码了，呵呵

图11

右键点击项目中的src，可以添加Mapper类，Reducer类，以及MapReducerDriver类，向导会自动为你生成这三个类的Framework。这对于新手尤其重要。如图12所示：

图12

编写完你的代码以后，你可以点击你的Driver类->Run on hadoop，来运行你的Hadoop应用，这个运行是工具自动打包成jar，部署到Hadoop环境上去运行的。