用VM虚拟机搭建大数据学习集群(3节点)

前提：下载安装VMware，安装centos系统

1- 登录虚拟机查看IP地址

ifconfig

若没有这个命令，安装

yum install -y net-tools.x86_64

执行ifconfig 找到 ip地址。使用xshell等工具连接上，主要是方便拷贝等操作。

2- 设置静态IP

网络必须是桥接 NAT模式(默认的网络设置)，找到网卡并编辑，设置模式为 static，网关等。

        2.1- 在虚拟机的右上角，'编辑' -> 虚拟机网络设置

         2.2- 选择 NAT，并点击以 ‘’更改配置‘’

         2.3- 选择NAT模式，点击NAT设置。

         2.4- 设置并记下 NETMASK 和 网关地址。后面要用

             这里是255.255.255.0 和 192.168.186.2

 

         2.5- 在节点内，找到并编辑网络配置        

ll /etc/sysconfig/network-scripts/

vi /etc/sysconfig/network-scripts/ifcfg-ens33

 这里的 IPADDR为我们期望的静态IP地址， DNS1和GATEWAY是我们上面设置的网关地址。

NETMASK也是我们更改设置的。

ONBOOT=YES
OTPOTO="static"
DNS1=192.168.186.2
IPADDR=192.168.186.121
NETMASK=255.255.255.0
GATEWAY=192.168.186.2

3- 修改主机名

以node121为名

vi /etc/hostname

node121

4- 关闭防火墙

# 为了方便后续学习，这里是永久取消防火墙
systemctl disable firewalld

 5- 重启节点

执行命令

reboot

查看设置静态IP是否起效果，执行ifconfig，

 6- 克隆虚拟机，搭建集群

 6.1- VMware上，鼠标右击 虚拟机，管理 -> 克隆

 都点击下一步就好，磁盘这步选一下就可以

 6.2- 修改克隆机子的IP为，我们设计的。

这里我设计的是192.168.186.122和 192.168.186.123

6.2.1- 启动 node122，因为此时ip和 node121一致，所以确保node121没有开启

6.2.2- 修改 主机名和 静态IP 为 预定的值   (/etc/hostname 和 /etc/sysconfig/network-scripts/ifcfg-ens33两个文件)

主机名：node122

IP：192.168.186.122

6.2.3- 关闭node122.

对node123重复 node122的操作。修改主机名和静态IP地址

主机名：node123

IP：192.168.186.123

7- 配置集群免密登录

7.1- 编辑 /etc/hosts

方便后续以节点名字访问。以在节点 node121 为例

vi /etc/hosts

192.168.186.121 node121
192.168.186.122 node122
192.168.186.123 node123

 7.2- 生产秘钥

ssh-keygen -t rsa

 一直按确认就好了

 默认在 /root/.ssh目录下， 带pub的是公钥，母带的是私钥

 7.3- 将公钥拷贝到3个节点 (自己也要)

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node121

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node122

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node123

检查免密登录设置是否成功

node122 和 node123重复 上述操作

8- 同步集群时间

只是搭建集群学习大数据用的。所以为了方便，直接三台定时同步外网时间。设置每10分钟取美国标准技术同步时间

 在3台机子执行

crontab -e

*/10 * * * * ntpdate 202.120.2.101

学习大数据的集群搭建完成。后续的java和其他软件就自行安装