mac下安装hadoop3.1.1

安装Java
brew install java即可
2、设置SSH
在系统里打开远程登录，位置在 System Preference -> Sharing 中，左边勾选 Remote Login，右边选择 All Users

然后

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
3、配置Hadoop

官网下载hadoop3.1.1
设置hadoop-env.sh
$ /usr/libexec/java_home查看java安装位置
打开hadoop-env.sh，添加
$ /usr/libexec/java_home
设置core-site.xml

   
        fs.defaultFS
        hdfs://localhost:9000
   

设置hdfs-site.xml

   
        dfs.replication
        1
   

设置mapred-site.xml

   
        mapreduce.framework.name
        yarn
   

yarn-site.xml

   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
        yarn.nodemanager.env-whitelist
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
   

4、格式化namenode
进入hadoop目录
bin/hdfs namenode -format
5、启东dfs、yarn

sbin/start-dfs.sh
sbin/start-yarn.sh
6、web ui
ResourceManager - http://localhost:8088

NameNode - http://localhost:9870