mac系统搭建单节点hadoop

1.下载hadoop

http://hadoop.apache.org/releases.html

2.解压下载的hadoop文件

tar -zxvf /HADOOP-VERSION-FULL-PATH.tar.gz

3.配置hadoop环境

# vim /etc/profile
##添加HADOOP_HOME路径
# export HADOOP_HOME=/HADOOP-VERSION-FULL-PATH
# export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# wq
# source /etc/profile
## 创建hadoop数据目录
# sudo mkdir /var/hadoop
# sudo chmod 777 /var/hadoop

4.hadoop需要java环境的支持，配置java环境略

5.修改hadoop配置文件，主要包括以下几个文件

• core.site.xml

# vim /HADOOP-VERSION-FULL-PATH/etc/hadoop/core.site.xml

在configuration节点中添加以下内容

    
        fs.defaultFS
        hdfs://hadoop:9000
    

• hdfs.site.xml文件

# vim /HADOOP-VERSION-FULL-PATH/etc/hadoop/hdfs.site.xml

在configuration节点中添加以下内容

        
        
                dfs.replication
                1
        
        
                dfs.namenode.name.dir
                file:/var/hadoop/data/hdfs/nn
        
         
                fs.checkpoint.dir
                file:/var/hadoop/data/hdfs/snn
        
        
                fs.checkpoint.edits.dir
                file:/var/hadoop/data/doop/hdfs/snn
        
        
                dfs.datanode.data.dir
                file:/var/hadoop/data/hdfs/dn
        

• mapred-site.xml

# cp /HADOOP-VERSION-FULL-PATH/etc/hadoop/mapred-site.xml.template
/HADOOP-VERSION-FULL-PATH/etc/hadoop/mapred-site.xml

在configuration节点中添加以下内容

        
                mapreduce.frameword.name
                yarn
        

• yarn-site.xml

# vim /HADOOP-VERSION-FULL-PATH/etc/hadoop/yarn-site.xml

在configuration节点中添加以下内容

        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        
        
                yarn.nodemanager.aux-services.shuffle.class
                org.apache.hadoop.mapred.ShuffleHandler
        

• hadoop-env.sh

# vim /HADOOP-VERSION-FULL-PATH/etc/hadoop/hadoop-env.sh

覆盖正确的JAVA_HOME

export JAVA_HOME=JAVA_HOME_PATH

6.格式化hdfs文件系统

# /HADOOP-VERSION-FULL-PATH/bin/hdfs namenode -format

7.启动hdfs服务

# /HADOOP-VERSION-FULL-PATH/sbin/start-dfs.sh

8.启动yran服务

# /HADOOP-VERSION-FULL-PATH/sbin/start-yarn.sh

9.通过web接口验证正在运行的服务

http://127.0.0.1:50070
http://127.0.0.1:8088

10.配置ssh免秘钥登录

# cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost  
# ssh-keygen -t rsa              # 会有提示，都按回车就可以  
# cat id_rsa.pub >> authorized_keys  # 加入授权  
# chmod 600 ./authorized_keys    # 修改文件权限