hadoop环境搭建

• 可在apache官网下载hadoop安装包
• 本文档hadoop版本为2.8.5，可与2.1.7版本hbase适配
• 请提前安装java环境，建议jdk1.8版本
• 本环境主机名为test01，配置在/etc/hostname中，以下内容中出现的test01，可替换为实际的hostname

安装至/usr/local/hadoop

• 解压下载的压缩包至/usr/local/hadoop

tar -xzvf hadoop-2.8.5.tar.gz
mv hadoop-2.8.5 /usr/local/hadoop

• 在/etc/profile配置环境变量并source使之生效

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 验证是否安装成功，输出以下截图内容即可

hadoop version

修改配置文件

• 在/usr/local/hadoop/下新建目录

mkdir tmp hdfs hdfs/name hdfs/data

• 在hadoop-env.sh和yarn-env.sh内追加以下命令，如已配置环境变量可不再指定

export JAVA_HOME=/usr/local/java(值根据实际情况)

• /usr/local/hadoop/etc/hadoop/core-site.xml 在configuration节点内增加内容

    fs.defaultFS
    hdfs://test01:9000
  
  
    io.file.buffer.size
    4096
  
  
    hadoop.tmp.dir
    /usr/local/hadoop/tmp
  

• /usr/local/hadoop/etc/hadoop/hdfs-site.xml 在configuration节点内增加内容

    dfs.replication
    3
   
  
    dfs.namenode.name.dir
    /usr/local/hadoop/hdfs/name
  
  
    dfs.datanode.data.dir
    /usr/local/hadoop/hdfs/data
  
  
    dfs.http.address
    test01:50070
  
  
    dfs.secondary.http.address
    test01:50090
  
  
    dfs.webhdfs.enabled
    true
  
  
    dfs.permissions
    false
  

• /usr/local/hadoop/etc/hadoop/yarn-site.xml 在configuration节点内增加内容

    
        yarn.resourcemanager.hostname
        test01
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.address
        test01:8032
    
    
        yarn.resourcemanager.scheduler.address
        test01:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        test01:8031
    
    
        yarn.resourcemanager.admin.address
        test01:8033
    
    
        yarn.resourcemanager.webapp.address
        test01:8088
    

• 复制一份/usr/local/hadoop/etc/hadoop/mapred-site.xml.template，为mapred-site.xml
• /usr/local/hadoop/etc/hadoop/mapred-site.xml 在configuration节点内增加内容

  
    mapreduce.framework.name
    yarn
  
  
    mapreduce.jobhistory.address
    test01:10020
  
  
    mapreduce.jobhistory.webapp.address
    test01:19888
  

• /usr/local/hadoop/etc/hadoop/slaves，单实例时保持默认配置，多实例时配置其余从节点hostname

localhost  # 单实例
# =============多实例============
# test02
# test03

启动验证

• 第一次启动namenode时，需要对namenode格式化

/usr/local/hadoop/bin/hdfs namenode -format

• 启动hadoop

/usr/local/hadoop/sbin/start-dfs.sh

• 用jps查看本机java进程

在test01可以看到NameNode和SecondaryNamenode
在从节点可以看到DataNode
单实例则三者都存在

• 查看控制台，其他机器可将test01替换为ip，可看到'test01:9000' (active)的活动信息

http://test01:50070/dfshealth.html#tab-overview

• 启动yarn

/usr/local/hadoop/sbin/start-yarn.sh

• 用jps查看本机java进程

在test01可以看到ResourceManager
在从节点可以看到NodeManager
单实例则两者都存在