大数据集群搭建

0.在做大数据集群开发环境的时候，前提是先把网络环境配置好， 也就是把虚拟机配置好。

1.在搭建好的一台虚拟机的基础上，直接克隆三台出来：master slave1 slave2 [自己想叫啥名字就叫啥，这里就用一个主节点，两个从节点]

2.分别修改为不同的IP，根据NAT方式可以选择的IP范围，选择三个IP

修改 /etc/sysconfig/network-scripts 下的 vi ifcfg-ens33:
例如：192.168.218.129
192.168.218.130
192.168.218.131

3.重启网络

service network restart

[4.]如果需要创建用户，则在这里创建,例如创建用户 leerui 并且 设置密码为 leerui

useradd -m leerui
passwd leerui

4.修改主机名(分别在三台电脑上操作，改成自己的主机名)：

vi /etc/sysconfig/network  
#master
HOSTNAME=master
#slave1
HOSTNAME=slave1
#slave2
HOSTNAME=slave2

5.为了防止以后突然机器名称变成localhost之类的,我们可以在每台虚拟机上修改

vi /etc/hostname  ---中修改为当前 主机的名称
#master
master
#slave1
slave1
#slave2
slave2

6.增加IP 和机器名称的映射关系(三台机器做同样的操作，如下所示)

vi /etc/hosts
192.168.128.129 master
192.168.128.130 slave1
192.168.128.131 slave2

7.重启虚拟机,xshell 中 用reboot 重启

reboot

8.关闭NetworkManager,否则后面网络环境会发生冲突

在每台机器上执行：

systemctl stop NetworkManager
systemctl disable NetworkManager
service network restart ##重启网关

9.配置无密钥登陆

9.1、保证每台机器中

所在用户的根目录

下包含掩藏文件.ssh，如果没有的话则需要创建一个

9.2、生成密钥：

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

9.3、将id_dsa.pub（公钥）追加到授权的key中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

9.4、将认证文件复制到其它节点上：

scp ~/.ssh/authorized_keys leerui@slave1:~/.ssh/
scp ~/.ssh/authorized_keys leerui@slave2:~/.ssh/

9.5、ssh slave1试试，第一次连接需要输入yes确认即可

ssh slave1

10.关闭三台虚拟机的防火墙： 分别用root账号执行

systemctl status firewalld  -- 查看防火墙的状态
systemctl stop firewalld    -- 停止防火墙
systemctl disable firewalld -- 禁止防火墙
systemctl status firewalld  -- 查看防火墙的状态