一:虚拟机和Linux的安装
在搭建Hadoop集群环境之前,我们必须要进行如下的准备工作:
01.安装虚拟机
02.安装3台Linux
03.修改主机名和IP地址对应关系
04.SSH免密码登陆
1.1:虚拟机的安装步骤
VMware的安装版本是12,大家可以直接百度,下载需要的虚拟机!
这里虚拟机的内存,也可以使用推荐设置!(如果真机内存够用,可以设置高点)
这里的声卡和打印机也可以不删除。(强迫症,目前没用的组件删除,不影响我们后续操作)
1.2:LInux安装步骤
之后点击开始安装,等待。。。。。
二:NAT网络设置
简单介绍下网络设置的不同:
桥接网络: 虚拟机使用本地网络,和本机ip值 相同!
仅主机:只能和本机进行通讯,无法上网!
NAT:即可以上网,也可以和本机进行通讯!
2.1:本机设置
2.2:虚拟机设置
2.3:在真机(windows)中设置网络共享
三:可能出现的问题
线缆被拔出的解决方案
四:开机自启动网络连接
切换到指定的目录
cd /etc/sysconfig/network-scripts/
五:克隆子机器
我们最终的hadoop分布式环境是1个master,2个slave。所以还需要把刚才创建的机器,克隆两份!
5.1:关闭克隆的机器
5.2:克隆机器
5.3:安装上诉步骤再克隆slave2机器
六:修改3台虚拟机的IP地址和主机名称
因为我们的第一台虚拟机的IP已经设置,所以只需要修改克隆的两台机器即可!
6.1:修改slave1的IP地址
192.168.27.3
6.2:修改slave2的IP地址
192.168.27.4
6.3:修改3台虚拟机的ip地址和主机名称的对应关系
1:修改3台电脑的主机名
使用XShell 连接3台虚拟机
修改主机名
hostnamectl --static set-hostname 主机名
2:修改3台电脑的主机名和IP地址对应关系
在每台电脑上运行:vim /etc/hosts
在文件中都增加:
192.168.27.2 master
192.168.27.3 slave1
192.168.27.4 slave2
七:设置SSH免密码登陆
7.1:生成.ssh文件
在每台电脑中使用ssh命令,让每台电脑中的~目录下生成.ssh文件!
在master机器上运行 ssh slave1
在slave1机器上运行 ssh master
在slave2机器上运行 ssh master
7.2:master机器上生成密钥
在master机器上生成密钥运行:ssh-keygen -t rsa
7.3:复制密钥
把master机器生成的id_rsa.pub复制到另外两个
子机器中,重命名为authorized_keys
id_rsa.pub的路径在 ~/.ssh/文件夹下面!
scp id_rsa.pub root@slave1:~/.ssh/authorized_keys
scp id_rsa.pub root@slave2:~/.ssh/authorized_keys
slave1和slave2分别是另外两台子机器的主机名!
7.4:修改权限
在两个子机器中把authorized_keys
文件的权限改为600
chmod 600 authorized_keys
7.5:追加授权
在master节点使用下面命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(把id_rsa.pub追加到授权的key里面去)
7.6:修改配置文件
在所有机器上使用下面命令
vim /etc/ssh/sshd_config(修改SSH配置文件"/etc/ssh/sshd_config")
RSAAuthentication yes #启用 RSA 认证
PubkeyAuthentication yes #启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径(和上面生成的文件同)
八:关闭防火墙
firewall-cmd --state 查询防火墙状态
systemctl stop firewalld.service 关闭防火墙
systemctl start firewalld.service 开启防火墙
systemctl disable firewalld.service 禁止开启启动防火墙
三台Linux电脑的防火墙都需要关闭!本机(windows)防火墙也需要关闭!