mac hadoop 配置

记录:
1.安装jdk
mac 自带的有java,可以安装自己的版本,需要配置环境变量.
修改.bash_profile文件就可以.
2.ssh免密登录
2.1系统偏好设置->共享->勾选远程登录.
2.2 command+shift+g 输入~/.ssh 前往 . 进入.ssh文件夹下会多

屏幕快照 2018-05-02 15.17.25.png

然后在终端下输入

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

2.3验证 ssh 设置成功

屏幕快照 2018-05-02 15.21.06.png

3.在mac中下载解压版本
4.配置
所需要修改的配置文件都在hadoop-3.0.0.0/etc/hadoop目录下。
4.1 hadoop-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

4.2core-site.xml

    fs.defaultFS
    hdfs://0.0.0.0:9000



    hadoop.tmp.dir
    /Library/hadoop-2.7.3/temp

4.3hadfs-site.xml

    dfs.replication
    1



    dfs.namenode.name.dir
    file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/name



    dfs.datanode.data.dir
    file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/data


    dfs.webhdfs.enabled
    true


    dfs.http.address
    0.0.0.0:50070

4.4 mapred-site.xml

 
  
    mapreduce.framework.name
    yarn

4.5yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

5.配置环境变量
在 vi ~/.bash_profile 中进行配置

export HADOOP_HOME=/Users/leerui/Documents/soft/hadoop-3.0.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置生效:

source ~/.bash_profile

想要验证环境变量 是否配置成功的话 可以输入

echo $path

6.初始化以及启动

//进入hadoop安装目录
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//启动hdfs
sbin/start-dfs.sh 
//启动yarn
sbin/start-yarn.sh

7.测试是否成功
当启动完hdfs以及yarn可以打开浏览器，输入以下地址看是否能进入对应的页面
启动完hdfs访问: http://localhost:50070

屏幕快照 2018-05-02 16.06.55.png

启动完yarn访问: http://localhost:8088

屏幕快照 2018-05-02 16.07.35.png

就启动成功了.

原文https://www.cnblogs.com/landed/p/6831758.html