Hadoop在YARN上的伪分布式安装(Mac)

1.前提条件

电脑上已经安装了SSH，Homebrew，JDK8。

2.配置SSH无密码登录自己电脑

在终端执行以下命令：

$ ssh localhost

如果需要输入密码登录，则执行以下命令：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

再次输入ssh localhost则应该可以不用密码就可以登录

3.用homebrew安装hadoop

执行以下命令来安装hadoop:

$ brew install apache-hadoop

则会安装最新的hadoop版本。

4.伪分布式配置hadoop

进入 /usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/core-site.xml，加入以下配置：

    
        fs.defaultFS
        hdfs://localhost:9000
    

进入/usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/hdfs-site.xml，加入以下配置：

    
        dfs.replication
        1
    

进入/usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/hadoop-env.sh，将

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

修改为

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

进入/usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/yarn-env.sh，添加

YARN_OPTS="$YARN_OPTS -Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

进行YARN配置，配置mapred-site.xml

cp /usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/mapred-site.xml.template /usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/mapred-site.xml

打开mapred-site.xml，加入以下配置：

  
    mapreduce.framework.name
    yarn
  
  
    mapred.child.java.opts
    -Xmx4096m
  

打开/usr/local/Cellar/hadoop/2.8.1/libexec/etc/hadoop/yarn-site.xml，加入以下配置：

     yarn.nodemanager.aux-services
     mapreduce_shuffle

格式化HDFS

$ rm -rf /tmp/hadoop-yourusername
$ hadoop namenode -format

5.启动HDFS和MapReduce

启动HDFS

$ /usr/local/Cellar/hadoop/2.8.1/sbin/start-dfs.sh

启动MapReduce

$ /usr/local/Cellar/hadoop/2.8.1/sbin/start-yarn.sh

检查启动情况

$ jps

正常启动应该会有以下5个java进程。

NameNode
SecondaryNameNode
DataNode
NodeManager
ResourceManager

6.可视化查看

Cluster Status http://localhost:8088
HDFS status http://localhost:50070
secondaryNamenode http://localhost:50090