Hadoop 安装指南

最近由于要学习一下大数据相关的知识，首先遇到的就是Hadoop。那么接下来就看一下如何安装Hadoop。

1. 下载tar包
   https://hadoop.apache.org/releases.html

2. 解压tar包

    tar -vxf hadoop.3.1.1.gz.tar
   

3. 设置环境变量

    export HADOOP_HOME=/home/hadoop/hadoop-3.1.1 
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native         
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
   

4. 修改hadoop-env.sh
   脚本文件位于*/hadoop-3.1.1/etc/hadoop

    export JAVA_HOME=/opt/jdk1.8.0_192 
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-3.1.1/etc/hadoop"}
   

5. 修改core-site.xml
   脚本文件位于*/hadoop-3.1.1/etc/hadoop

• fs.defaultFS指出了文件系统的位置

• hadoop.tmp.dir: 临时文件夹的位置

    
      
        fs.defaultFS
        hdfs://localhost:9000
      
      
        hadoop.tmp.dir
        /home/hadoop/hadooptmpdata
      
    
  

6. 修改hdfs-site.xml
   脚本文件位于*/hadoop-3.1.1/etc/hadoop

• dfs.replication 创建文件时复制的数目

• dfs.name.dir 指定名字节点的位置

• dfs.data.dir 指定data节点的位置

    
        
            dfs.replication
            1
            dfs.name.dir
            file:///home/hadoop/hdfs/namenode
            dfs.data.dir
            file:///home/hadoop/hdfs/datanode  
        
    
  

记得要创建对应的文件夹

    mkdir -p hdfs/namenode
    mkdir -p hdfs/datanode

7. 修改mapreduce.xml

• mapreduce.framework.name 执行mapreduce jobs的运行时框架，可以为local, classsic, yarn

    
        
            [mapreduce.framework.name](http://mapreduce.framework.name)
            yarn
        
    
  

8. 修改yarn.xml

    
        
            mapreduceyarn.nodemanager.aux-services
            mapreduce_shuffle
       
    
   

9. 启动hadoop集群

    hdfs namenode -format
   

10. 启动 HDFS

    start-dfs.sh
    

如果提示ssh: connect to host refused，安装ssh，并且cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

11. 启动yarn

    start-yarn.sh
    

12. 可以通过命令jps查看hdfs运行状态

    jps
    

13. 可以查看hadoop的版本

    hdfs version
    

14. 创建hdfs目录并且显示

    hdfs dfs -mkdir /test
    hdfs dfs -ls /
    

到此，hadoop安装完成。