hadoop-2.7.3集群的搭建

• 设置静态IP

• 关闭防火墙（如果没有关闭，上传文件到hdfs会出错，还存在其他错误）

• 在hadoop-2.7.3\etc\hadoop\目录下修改配置文件

  1. 配置hadoop-env.sh

  • 设置JAVA_HOME

  • 配置yarn-env.sh

  • 配置JAVA_HOME

  • 配置slaves

    • 清空并添加
      slave1
      slave2

  • 配置core-site.xml，添加属性
    <--用来指定HDFS老大(NameNode)的地址-->
    
    fs.defaultFS
    hdfs://master:9000
    
    <--用来指定在序列文件中读写缓冲区的大小(128M)-->
    
    io.file.buffer.size
    131072
    
    <--用来指定Hadoop运行时产生文件的存放目录-->
    
    hadoop.tmp.dir
    file:/usr/app/install/hadoop-2.7.3/tmp
    Abase for other temporary directories.
    

  • 配置hdfs-site.xml，添加属性

    
    dfs.namenode.secondary.http-address
    master:9001
    
    
    dfs.namenode.name.dir
    file:/usr/app/install/hadoop-2.7.3/hdfs/name
    
    
    dfs.datanode.data.dir
    file:/usr/app/install/hadoop-2.7.3/hdfs/data
    
    <--指定HDFS保存数据副本的数量-->
    
    dfs.replication
    3
    
    
    dfs.webhdfs.enabled
    true
    
    <--指定block大小为128M-->
    
    dfs.blocksize
    134217728
    

  • 配置mapred-site.xml

    
    mapreduce.framework.name
    yarn
    
    
    mapreduce.jobhistory.address
    master:10020
    
    
    mapreduce.jobhistory.webapp.address
    master:19888
    

  • 配置yarn-site.xml

    
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    
    
    yarn.resourcemanager.address
    master:8032
    
    
    yarn.resourcemanager.scheduler.address
    master:8030
    
    
    yarn.resourcemanager.resource-tracker.address
    master:8031
    
    
    yarn.resourcemanager.admin.address
    master:8033
    
    
    yarn.resourcemanager.webapp.address
    master:8088
    

• ssh无密钥登录

• 复制Hadoop配置好的包到其他Linux主机

• 通过./bin/hdfs namenode -format 格式化hdfs