hadoop集群基础环境搭建

1.安装基础环境（以centos7为例）       

1.1修改IP

• 创建4台虚拟机IP设置为192.168.154.4，192.168.154.5，192.168.154.6，192.168.154.7
• 启动每台节点，在对应的节点路径"/etc/sysconfig/network-scripts"下配置ifg-ens33文件配置IP
  （注意，不同机器可能此文件名称不同，一般以ifcfg-xxx命名），以配置ip 192.168.154.4为例，
  ifcfg-ens33配置内容如下：
  TYPE=Ethernet
  BOOTPROTO=static #使用static配置
  DEFROUTE=yes
  PEERDNS=yes
  PEERROUTES=yes
  IPV4_FAILURE_FATAL=no
  IPV6INIT=yes
  IPV6_AUTOCONF=yes
  IPV6_DEFROUTE=yes
  IPV6_PEERDNS=yes
  IPV6_PEERROUTES=yes
  IPV6_FAILURE_FATAL=no
  ONBOOT=yes #开机启用本配置
  IPADDR=192.168.154.4 #静态IP
  GATEWAY=192.168.154.2 #默认网关
  NETMASK=255.255.255.0 #子网掩码
  DNS1=114.114.114.114
• 重启服务让修改生效：systemctl restart network.service
• 查看修改IP是否成功：ip addr

1.2修主机名

• /etc/hostname配置对应的主机名称node01，node02，node03，node04

1.3关闭防火墙

  #检查防火墙状态
  firewall-cmd --state
  #临时关闭防火墙（重新开机后又会自动启动）
  systemctl stop firewalld 或者systemctl stop firewalld.service
  #设置开机不启动防火墙
  systemctl disable firewalld

1.4关闭seLinux

/etc/selinux/config中将SELINUX=enforcing改成SELINUX=disabled即可。

1.5配置阿里云yum源

#安装wget，wget是linux最常用的下载命令(有些系统默认安装，可忽略)

yum -y install wget

#备份当前的yum源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

#下载阿里云的yum源配置 wget -O /etc/yum.repos.d/CentOS-Base.repo

https://mirrors.aliyun.com/repo/Centos-7.repo

#清除原来文件缓存，构建新加入的repo结尾文件的缓存 yum clean all yum makecache

1.6安装psmisc组件

在HDFS集群搭建完成后，在Namenode HA切换进行故障转移时采用SSH方式进行，底层会使用到fuster包，有可能我们安装Centos7系统没有fuster程序包，导致不能进行NameNode HA 切换，我们可以通过安装Psmisc包达到安装fuster目的，因为此包中包含了fuster程序，安装方式如下，在各个节点上执行如下命令，安装Psmisc包：

yum install psmisc

1.7设置自动更新时间

后续基于Linux各个节点搭建HDFS时，需要各节点的时间同步，可以通过设置各个节点自动更新时 间来保证各个节点时间一致，具体按照以下操作来执行。

修改本地时区及ntp服务

yum -y install ntp

rm -rf /etc/localtime

ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

/usr/sbin/ntpdate -u pool.ntp.org

自动同步时间 设置定时任务，每10分钟同步一次，配置/etc/crontab文件，实现自动执行任务。建议直接 crontab -e 来写入定时任务。使用crontab -l 查看当前用户定时任务。

#各个节点执行 crontab -e 写入以下内容

*/10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1

#重启定时任务

service crond restart

1. 2. #查看日期

date

1.8安装JDK

• rpm -ivh /software/jdk-8u181-linux-x64.rpm
• 配置JDK环境便令

vi /etc/profile     
export  JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

#让配置生效

source /etc/profile

1.9 免密钥设置

在Hadoop集群中，需要各个节点之间是有通信的，这里需要设置节点之间免密通信，为了后期操作方便，四台服务器之间需互相均可以免密登录

1. 首先在四台服务器上都要执行：

      ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa

   2.分别将node01,node02,node03,node04节点上的公钥复制到node01节点上

     

ssh-copy-id node01

3.将node01节点上的authorized_keys文件发送到mynode02、mynode03、mynode04节点上