hadoop集群配置

阅读更多

1. 创建目录

• 安装目录下创建数据存放的文件夹，/home/hadoop/hadoop-2.7.1/tmp、hdfs、hdfs/data、hdfs/name

修改/home/hadoop/hadoop-2.7.1/etc/hadoop下的配置文件

• core-site.xml
  

  
          fs.defaultFS
          hdfs://centos01:9000
      
      
          hadoop.tmp.dir
          file:/home/hadoop/hadoop-2.7.1/tmp
      
      
          io.file.buffer.size
          131702
      

   
  
• hdfs-site.xml
  

  
          dfs.namenode.name.dir
          file:/home/hadoop/hadoop-2.7.1/dfs/name
      
      
          dfs.datanode.data.dir
          file:/home/hadoop/hadoop-2.7.1/dfs/data
      
      
          dfs.replication
          2
      
      
          dfs.namenode.secondary.http-address
          centos01:9001
      
      
      dfs.webhdfs.enabled
      true
      

   
  
• mapred-site.xml
  

   
          mapreduce.framework.name
          yarn
      
      
          mapreduce.jobhistory.address
          centos01:10020
      
      
          mapreduce.jobhistory.webapp.address
          centos01:19888
      

   
  
• yarn-site.xml
  

  
          yarn.nodemanager.aux-services
          mapreduce_shuffle
      
      
          yarn.nodemanager.auxservices.mapreduce.shuffle.class
          org.apache.hadoop.mapred.ShuffleHandler
      
      
          yarn.resourcemanager.address
          centos01:8032
      
      
          yarn.resourcemanager.scheduler.address
          centos01:8030
      
      
          yarn.resourcemanager.resource-tracker.address
          centos01:8031
      
      
          yarn.resourcemanager.admin.address
          centos01:8033
      
      
          yarn.resourcemanager.webapp.address
          centos01:8088
      
      
          yarn.nodemanager.resource.memory-mb
          768
      

   
  
• hadoop-env.sh、yarn-env.sh 加入JAVA_HOME环境变量
  

  export JAVA_HOME=/usr/java/jdk1.7.0_80

   
  
• slaves 
  

  #localhost
  centos02

   
  

把配置好的hadoop发送到从节点（如果没有目录，请新建，没有jdk，请提前装，路径和master保持一致）

scp -r /home/hadoop/hadoop-2.7.1 root@centos02:/home/hadoop/

 

初始化hadoop

bin/hdfs namenode -format

 

启动hadoop

sbin/start-all.sh 

 

访问web页面查看结果

http://centos01:8088/

 

成功页面


 

常见问题

• 如果是虚机安装在windows下，scp找不到主机，请在windows/system32/dirver/etc/hosts下把相关主机名添加上
  

  192.168.222.130     centos01
  192.168.222.131     centos02

   
  
• 如果web页面访问不到，请关闭防火墙和iptable
  

  systemctl stop firewalld.service
  systemctl stop iptables.service

   
  
• 禁用防火墙自动启动
  

  systemctl disable firewalld.service

   

• 
• 大小: 141.7 KB

• 查看图片附件