Hadoop集群搭载经历之hadoop配置

tps：同样方式上传hadoop安装包并且解压到/opt/
同样方式配置hadoop环境

Hadoop环境配置效果

---

1. 各个服务器节点之间配置免密码登录（对自己也要配置）

• 1. 修改vi /etc/hosts
  • 添加自己三台服务器的ip 以及相对应的主机名
  • 格式 192.168.68.131 hadoop4 或者说 hadoop4‘s ip hadoop4
    
    hosts配置效果
  • 目的是为了在需要输入各个服务器主机ip的时候 直接输入主机名就可以了，方便记忆。
• 2. 配置ssh免密码登录ssh-keygen -t rsa在三台机器上都执行
  • 输入ssh-keygen -t rsa 可以生成rsa私钥和公钥
  • ssh-copy-id -i root@hadoop4 ssh-copy-id -i root@hadoop5 ssh-copy-id -i root@hadoop6 这三条命令都要执行 三台机器总共执行9次， 这样就实现了三台机器之间互相登录不需要密码。

2. 配置文件（7个）本小节所有的文件全在 /opt/hadoop-2.7.2/etc/hadoop/ 全程操作都在/opt/hadoop-2.7.2目录下完成

• vi etc/hadoop/hadoop-env.sh

  • 在25行 填写jdk文件目录

    
    
    HADOOP-env.sh.png
• vi etc/hadoop/yarn-env.sh

  • 在23行 填写jdk文件目录,注意25行最前面的#去掉

    
    
    env.sh.pngyarn-.png
• vi etc/hadoop/slaves
  将三个机器的主机名添加进去不要多一个字符也不要少一个字符
  slaves
• vi etc/hadoop/core-site.xml
  • 在里面填写
    
    fs.defaultFS
    hdfs://hadoop4:9000
    
    
    hadoop.tmp.dir
    /opt/hadoop-2.7.2/data/tmp
    
    
    core-site。xml.png
• vi etc/hadoop/hdfs-site.xml
  
  dfs.namenode.secondary.http-address
  hadoop6:50090
  
  
  hdfs-site.xml.png
• vi etc/hadoop/ mapred-site.xml

  • 在里面填写
    
    mapreduce.framework.name
    yarn
    

    
    
    mapred-site.xml.png
• vi etc/hadoop/ yarn-site.xml
  
  yarn.nodemanager.aux-services
  mapreduce_shuffle
  
  
  yarn.resourcemanager.hostname
  hadoop5
  
  
  yarn-site.xml.png

3. 以上步骤在三台虚拟机都要配置

可以利用scp命令快速跨机器复制 scp /opt/hadoop-2.7.2/etc/hadoop/* root@hadoop5:/opt/hadoop2.7.2/etc/hadoop/

4. hdfs格式化

hdfs namenode–format

5. 配置完成