Hadoop Multiple Nodes Cluster

设置data1服务器

• 修改静态IP

  #ubuntu17.10修改这个文件
  sudo nano /etc/netplan/01-netcfg.yaml 
  

  01-netcfg.yaml

  # This file describes the network interfaces available on your system
  # For more information, see netplan(5).
  # gateway4网关写错了无法上网
  network:
    version: 2
    renderer: networkd
    ethernets:
      ens33:
        dhcp4: no
        dhcp6: no
        addresses: [192.168.72.101/24]
        gateway4: 192.168.72.2 
        nameservers:
            addresses: [114.114.114.114, 8.8.8.8]
  

• 使修改后的IP生效

  sudo netplan apply
  

  ​

• 编辑hostname主机名

  sudo nano /etc/hostname
  #主机名改为data1
  data1
  

• 编辑hosts文件

  sudo nano /etc/hosts
  
  127.0.0.1       localhost
  127.0.1.1       ubuntu
  #添加hosts
  192.168.72.100  master
  192.168.72.101  data1
  192.168.72.102  data2
  192.168.72.103  data3
  

• 编辑core-site.xml

  
    
    fs.default.name
    hdfs://master:9000
    
    
  

  ​

• 编辑yarn-site.xml

  
  
  
  
          yarn.nodemanager.aux-services
          mapreduce_shuffle
  
  
          yarn.nodemanager.aux-services.mapreduce.shuffle.class
          org.apache.hadoop.mapred.ShuffleHandler
  
      
  
    yarn.resourcemanager.resource-tracker.address
    master:8025
  
  
    yarn.resourcemanager.scheduler.address
    master:8030
  
  
    yarn.resourcemanager.address
    master:8050
  
      
  
  
  

• 编辑mapred-site.xml

  
  
          mapred.job.tracker
          master:54311
  
  
  

• 编辑hdfs-site.xml

  
  
          dfs.replication
          1
  
  
          dfs.namenode.name.dir
          file:/usr/local/hadoop/hadoop_data/hdfs/namenode
  
  
  

  ​

克隆虚拟机

• 克隆data2并初始化mac地址

  • 修改hostname 和 IP地址

    sudo nano /etc/hostname
    sudo nano /etc/netplan/*.yaml
    sudo netplan apply
    

    ​

• 克隆data3并初始化mac地址

  • 修改hostname 和 IP地址

• 克隆master并初始化mac地址

  • 修改hostname 和 IP地址

Master连接到data1、data2、data3创建HDFS目录

• 启动五个虚拟机

• 通过ssh连接data1、data2、data3，设置DataNode节点

  #连接data1
  ssh data1
  
  #删除HDFS所有目录
  sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
  #创建DataNode储存目录
  mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
  #将目录的所有者改为hduser
  sudo chown  -R hduser:hduser /usr/local/hadoop
  exit
  

• 设置NameNode节点

  #删除HDFS所有目录
  sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
  #创建NameNode储存目录
  mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
  #将目录的所有者改为hduser
  sudo chown  -R hduser:hduser /usr/local/hadoop
  #初始化Namenode HDFS目录
  hadoop namenode -format
  

启动Hadoop Multi Node Cluster

#启动HDFS
start-dfs.sh
#启动YARN
start-yarn.sh
#启动所有
start-all.sh

• Hadoop ResourceManager Web 界面

  http://192.168.72.100:8088/

• NameNode Web 界面

  http://192.168.72.100:50070