CentOS6.5搭建hadoop完全分布式集群

搭建完全分布式集群

-------------------------------

前提条件：已经按照之前的步骤搭建完伪分布式。https://blog.csdn.net/weixin_42006411/article/details/80500217

搭建hadoop伪分布式链接：点击打开链接

方法：克隆虚拟机。
  1.修改静态ip
    a.删除之前的mac地址，记录现在的mac地址，并修改name为eth0
$ sudo vim /etc/udev/rules.d/70-persistent-net.rules
# PCI device 0x8086:0x100f (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:68:98:59", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
    b.修改/etc/sysconfig/network-script/ifcfg-eth0配置文件
$ sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=00:0c:29:68:98:59 #mac地址需要修改
IPADDR=192.168.136.22 #ip地址需要改
  2.修改主机名
    $ sudo vim /etc/sysconfig/network
  3.添加ip地址和主机名的映射ip 主机名
    $ sudo vim /etc/hosts
    重启虚拟机
    $ reboot
  4.ssh无密登录(略)
  5.jdk安装(略)
  6.hadoop安装
    (在master节点上修改hadoop文件，修改完后，再把其他slave节点上的hadoop文件删除，最后用scp命令把master节点上的hadoop文件拷贝到slave节点上，有软连接的需要删掉重新建)
    a.core-site.xml
    b.hdfs-site.xml
    c.mapred-site.xml
    d.yarn-site.xml
    e.hadoop-env.sh
    f.yarn-env.sh
    g.slaves
      删除localhost
      添加：
      slave1
      slave2
    h.删除之前home/hadoop/tmp/hadoop目录下的文件，重新格式化名称节点
      $>cd /home/hadoop/tmp/hadoop
      $>rm -rf dfs
  7.格式化名称节点  
    $>hdfs namenode -format 
  8.开启hadoop
    $>start-dfs.sh
    $>start-yarn.sh
  9.查看进程：
    master：namenode,secondarynamenode,resourcemanager
    slave1:datanode,nodemanager
    slave2:datanode,nodemanager