MacBook Pro18 安装hadoop2.7.7版本和eclipse插件安装

（话外）这几天，刚刚入手一台macbook pro18,心情非常激动，虽然已经对linux系统很熟悉，但是刚开始几天用mac还是不习惯，就赶紧的安装完的hadoop来跑实验。
现在来谈谈安装hadoop踩过的坑。Mac安装hadoop和其他系统差不多只是有点地方不同。
1.安装工具
Hadoop 2.7.7。
eclipse-Mac版
2.在home下设置java和hadoop的环境路径
即进入~/.bash_profile 设置hadoop和java 路径

3.ssh免密码登陆
我安装网上很多教程
直接在系统偏好设置-共享-〉远程登录中打开远程登录如下图：

然后执行下面代码：
3.1ssh-keygen -t rsa
3.2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
按照网上教程做到这 一般的电脑就可以ssh localhost 然后就直接登陆上了。
但是我刚买的电脑也不知道什么原因，设置到这一切OK，但是SSH 还是需要密码我就很纳闷。
最后在一篇博客中看到要加上：
3.3. chmod og-wx ~/.ssh/authorized_keys
然后就ok了

4.接下来配置hadoop
伪分布式的hadoop的配置，其实并不是太难。主要需要配置4个文件
安装解压好Hadoop后在hadoop文件中 /etc/hadoop中进行配置4个文件
4.1配置Hadoop-env.sh
这个文件主要是要将hadoop中的编程语言和java语言联系起来，即
修改改文件夹中java的路径

4.2配置core-site.xml(配置老大)
这个文件是对namenode 信息进行配置即配置其端口号9000，后面会用到。

4.3配置hdfs-site.xml.
这里配置复制的的个数，和存储的地方，一般情况下如果不设置把数据存到某个地方，他会默认把产生的数据放到他默认的地方去，时间长了会沾满，所以我们可以先把数据的数据修改配置到tmp中。

4.4 yarn 配置
直接粘贴下面代码就可以

yarn.nodemanager.aux-services mapreduce_shuffle

配置完初始化，执行
hdfs namenode -format
去sbin下执行./start-all.sh就可以
用jps查看

5.接下来是配置eclipse插件
首先我去eclipse.org上面去下载了一个mac版的eclipse，很奇怪的是eclipse只有50兆左右（windows一般都是几百兆，也许是Mac版精简一点吧）
下载好之后就要下载hadoop的插件。
这一步有很多博客写过，插件可以自己从hadoop源码中间自己去拷贝出来打一个jar包 放到eclipse中，但是现在有很多人已经把hadoop插件包弄好了，可以直接去github上下载
https://github.com/winghc/hadoop2x-eclipse-plugin
你从下载的包名可以看出，这是很多版本的插件集合，所以我们要从中间找出一个适合自己hadoop版的插件。
插件jar包在/release下，我的hadoop是2.7.7版本的，所以我选择了和我版本最近的hadoop-eclipse-plugin-2.6.0.jar.拷贝下来。
然后去找eclipse安装的文件位置，mac版电脑文件安装位置和windows类似，从访达中应用程序中找到eclipse.

然后点击右键显示包内容，进去之后在/contents/eclipse/plugins下把刚刚的插件jar包加进去，就行了。
下一步，你要去重新启动eclipse，在eclipse下找到preference，给eclipse安装找到hadoop安装路径。

下面的路径是你安装hadoop的位置

值得注意的是，很多人加完包之后，在preference中没有看到hadoop的选项，这里因为你的eclipse中间更新的部分没有更新的新加入插件的包的记录。
还是在eclipse安装文件中删除原先插件的记录，然后重新启动才行，即删除/contents/eclipse/configuration/org.eclipse.update，然后重新启动就可以看到在preference下hadoop选项（如果是在eclipse安装好后一次都没打开eclipse，则可以跳过这一步。）

到这一步基本上就安装的差不多了，然后创建一个hadoop map/reduce的工程。然后配置一下hadoop的位置。如下图

左边的端口号填mapped-site.xml中填的端口号
右边的端口号填core-site.xml中的端口号
填好后就配好了，接下来就可以跑程序了，最好去下载一个wordcount程序去测试一下你的配置是否成功。