基于hadoop2.6.5搭建5个节点的分布式集群—(一)基础环境配置

 使用hadoop2.6.5版本配置Hadoop集群,配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群。

一、主机规划


hadoop001

192.168.159.129

hadoop002

192.168.159.130

hadoop003

192..168.159.131

hadoop004

192..168.159.133

hadoop005

192..168.159.132

namenode
datanode
resourcemanager
journalnode
zookeeper

二、集群主机用户、用户组、密码规划

主机 用户组 用户名 密码
hadoop001 hadoop hadoop 123456
hadoop002 hadoop hadoop 123456
hadoop003 hadoop hadoop 123456
hadoop004 hadoop hadoop 123456
hadoop005 hadoop hadoop 123456
三、部署所需软件及版本

    CentOS6.5 64位;JDK1.8.0_45;zookeeper3.4.10;Hadoop2.6.5。

四、目录规划

    1、软件目录:/usr/hadoop/app/ ;

    2、数据与日志目录:/usr/hadoop/data 。

五、环境检查及配置

    1、修改主机名

         vi /etc/sysconfig/network 修改network内容为:

基于hadoop2.6.5搭建5个节点的分布式集群—(一)基础环境配置_第1张图片

          按照此方法修改其它服务器(hadoop002,hadoop003,hadoop004,hadoop004)。

    2、修改IP地址

      cat /etc/udev/rules.d/70-persistent-net.rules 查看MAC地址

    基于hadoop2.6.5搭建5个节点的分布式集群—(一)基础环境配置_第2张图片

    vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改IP地址如下:

    基于hadoop2.6.5搭建5个节点的分布式集群—(一)基础环境配置_第3张图片

   按照此方法修改其它服务器hadoop002,hadoop003,hadoop004,hadoop004的IP地址。

   3、 修改hosts文件

   vi  /etc/hosts 修改hosts文件如下:

基于hadoop2.6.5搭建5个节点的分布式集群—(一)基础环境配置_第4张图片

   4、禁用防火墙

    关闭命令:  service iptables stop
    永久关闭防火墙:chkconfig iptables off

    两个命令同时运行,运行完成后 service iptables status  查看防火墙关闭状态

  



你可能感兴趣的:(hadoop生态环境搭建)