Spark学习2 Mac OS X上Eclipse中搭建Hadoop的开发环境

一、在Mac OS X 上搭建 Hadoop 开发环境

Mac上的Hadoop环境搭建可以参考Mac OS X 上搭建 Hadoop 开发环境指南。

我在安装过程中遇到了两个错误：

1.使用hadoop namenode -format 启动NameNode时，hdfs报错：

根据报错信息猜测可能是Java路径设置错误，查看hadoop-env.sh 文件中JAVA_HOME的设置，发现路径中少了一个字母，修改成正确路径后，NameNode顺利启动。

2.使用jps查看进程时，发现只有5个进程，缺少了ResourceManager。

按照Hadoop 启动了之后， ResourceManager未起来的问题解决中的方法查看hadoop -> logs文件夹下的 yarn-paopao-resourcemanager-bogon.log日志（不同电脑上文件名可能不同）。

注意看这条报错信息：Caused by: java.net.BindException: Address already in use

说明在我们启动yarn服务时，我们预先设置的端口被占用了。

所以我们到yarn-site.xml中重新设置一个不太常用的端口号：

重新启动服务，使用jps查看进程，现在就能看到ResourceManager
遇到的问题：进程了。

二、Eclipse中安装hadoop插件

1.安装Eclipse。

2.下载Eclipse的hadoop插件。
我的Eclipse是4.9.0版本，hadoop插件是2.7.2版本，此版本的hadoop插件免费分享给大家，点此下载 (提取码: gcsn)。

3.把hadoop插件放入Elipse包里的plugin文件夹中：

4.重启Eclipse，在preferences里设置好hadoop的安装路径：

在确认插件已经放入plugin文件中后，我多次重启Eclipse都没有看到Hadoop Map/Reduce选项。
google了一下发现很可能是eclipse只记忆了以前的插件更新情况，而新安装的插件它并没有记录。大家可以参考下Eclipse 安装插件后不显示的解决办法。

三、编写Map/Reduce程序

1.打开Project Explorer窗口，如果安装成功，你可以看到DFS Locations：

2.在底边栏里点击小象按钮，新建一个Location：

设置好之后，Map/Reduce程序便可在location对应的集群上运行。

3.新建一个Map/Reduce项目：

设置好项目名称等参数后，就可以开始本地调试Map/Reduce项目，然后通过Location上传到hadoop集群上运行。