MacOS 安装启动Hadoop

1.安装jdk

2.安装hadoop
(1)将hadoop2.8.4的安装包解压到指定文件夹：

tar -zxvf hadoop-2.8.4.tar.gz -C /Users/macbook/Documents/hadoop

(2)配置hadoop环境变量：

export HADOOP_HOME=/Users/macbook/Documents/hadoop/hadoop-2.8.4

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.配置Hadoop(我安装的是伪分布模式)
(1)修改core-site.xml

命令：

vi /Users/macbook/Documents/hadoop/hadoop-2.8.4/etc/hadoop/core-site.xml

添加内容：

    fs.defaultFS
    hdfs://localhost:9000



    hadoop.tmp.dir
    /Users/macbook/Documents/hadoop/hadoop-2.8.4/data/tmp

core-site.xml

(2)修改hdfs-site.xml
命令：

vi /Users/macbook/Documents/hadoop/hadoop-2.8.4/etc/hadoop/hdfs-site.xml

修改内容为：

    dfs.replication
    1

hdfs-site.xml

(3)修改mapred-site.xml
命令：

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

修改内容为：

        mapreduce.framework.name
        yarn

mapred-site.xml

(4)修改yarn-site.xml

命令：

vi yarn-site.xml

修改内容为：

    yarn.nodemanager.aux-services
    mapreduce_shuffle

yarn-site.xml

4. Mac 系统的SSH免密登陆(此步骤存疑)

(1)设置我们mac的远程登陆打开
系统偏好设置 --> 共享 ---> 远程登陆勾选上,以下语句判断是否开启远程登陆

systemsetUp -getremotelogin

(2) 生成秘钥对
生产秘钥对语句

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

将生成的公钥提交给服务器上sshd中，本机的话如下

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

对于一般经过以上两步，如果不能实现 ssh localhost的免密效果的话，我们可以考虑从以下几个地方解决

• a) 设置authorizd_key的权限为644，外层的/.ssh 的文件夹权限为700
• b) mac的sshd一般默认没有打开免密登陆的选项，需要手动开启
  /etc/ssh 目录下的sshd_config

PubkeyAuthentication yes

5.运行Hadoop
进入Hadoop的目录，格式化文件系统

cd /Users/macbook/Documents/hadoop/hadoop-2.8.4

格式化

hdfs namenode -format

启动所有进程

sbin/start-all.sh

访问localhost:50070和localhost:8088测试是否正常

localhost:50070

localhost:8088