【Hadoop】Mac安装YARN

一. 安装YARN

1. 安装hadoop
   brew install hadoop
2. 设置允许远程登录
   系统偏好设置-共享-远程登录打开
3. 设置ssh免密码登录
   • cd ~/.ssh
   • cp id_rsa.pub authorized_keys
   • ssh localhost测试是否需要密码

二. 配置YARN

1. 设置环境变量
   • /usr/local/hadoop/etc/hadoop/hadoop-env.sh 文件中添加JAVA_HOME
   • /usr/local/hadoop/etc/hadoop/yarn-env.sh 文件中添加JAVA_HOME
   • export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home"
   • Mac查看JAVA_HOME：/usr/libexec/java_home -V
2. 修改mapred-site.xml
   • mv /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
   • 修改mapred-site.xml文件

  
    mapreduce.framework.name
    yarn
  

3. 修改core-site.xml
   • 修改 /usr/local/hadoop/etc/hadoop/core-site.xml文件

    hadoop.tmp.dir
    file:/usr/local/hadoop/tmp
    Abase for other temporary directories.


    fs.defaultFS
    hdfs://localhost:9000
 

4. 修改hdfs-site.xml
5. 修改 /usr/local/hadoop/etc/hadoop/hdfs-site.xml文件

    dfs.replication
    1


    dfs.namenode.name.dir
    file:/usr/local/hadoop/tmp/dfs/name


    dfs.datanode.data.dir
    file:/usr/local/hadoop/tmp/dfs/data


    dfs.permissions
    false

5. 修改yarn-site.xml
6. 修改 /usr/local/hadoop/etc/hadoop/yarn-site.xml文件

    yarn.nodemanager.aux-services
    mapreduce_shuffle

注意：core-site和hdfs-site配置的相关目录要为绝对路径，否则会导致namenode format失败

三. 启动HDFS

1. namenode格式化

   • cd /usr/local/hadoop/bin
   • ./hdfs namenode -format

2. 启动namenode和datanode

   • cd /usr/local/hadoop/sbin
   • ./start-dfs.sh （可以用下面2个命令分别启动namenode和datanode进程）
   • ./sbin/hadoop-daemon.sh start namenode
     ./sbin/hadoop-daemon.sh start datanode（如果有多个datanode，需使用hadoop-daemons.sh）

3. 通过jps命令查看是否启动成功

四. 启动YARN

1. 启动yarn
   • cd /usr/local/hadoop/sbin
   • .s/start-yarn.sh （可以用下面2个命令分别启动resourcemanager和nodemanager进程）
   • ./sbin/yarn-daemon.sh start resourcemanager
     ./sbin/yarn-daemon.sh start nodemanager
2. 通过jps命令查看是否启动成功
3. 通过浏览器访问http://localhost:8088/cluster YARN是否启动成功