CentOS7下安装Hadoop集群详细过程
CentOS7下安装Hadoop虚拟机网络配置
本文主要展示安装三台虚拟机搭建Hadoop集群中的虚拟机固定IP配置，使得各机之间可以互通,不受外网的影响，由于想省事，是先按照完master，然后克隆过去配置，做完之后发现坑很多，之前单独安的时候没这么多问题。建议第一次弄的话，还是老老实实的一台台虚拟机分开配。我这个配的比较复杂，中间出了很多问题，查了很多资料，如果你也遇到了坑，可以看看本文是否对你有帮助。记住配置完后，一定要重启虚拟机。
HDFS内部需要大量的命令传递和数据传输工作，为了便于HDFS内部各个节点之间进行识别，我们需要建立虚拟机名、HDFS节点、IP地址、机器名之间的映射关系。分为固定虚拟机IP，修改机器名，建立映射三个步骤，最终结果如下表所示
| 虚拟机名 |
HDFS职能 |
固定IP地址 |
机器名 |
| HadoopMaster |
NameNode |
192.168.1.150 |
master |
| HadoopSlave1 |
DataNode |
192.168.1.151 |
slave1 |
| HadoopSlave2 |
DataNode |
192.168.1.152 |
slave2 |
1.安装虚拟机
单个虚拟机安装可参见https://blog.csdn.net/babyxue/article/details/80970526
配置JDK可参见https://blog.csdn.net/u010590120/article/details/94736800
如果你后续要安装Spark的话，需要配置Scala可参见https://blog.csdn.net/u010590120/article/details/94758430
2.复制虚拟机并配置映射文件及网络
单个虚拟机配置完成后，利用VM的克隆功能来简化后续两台从机的配置过程
在VM中，右键配置好的虚拟机，点击管理菜单下的克隆按钮
选择创建完整克隆
克隆两台从机，分别命名为Slave1和Slave2
对克隆机进行配置修改 ，主要有三个地方，网络配置修改，虚拟机名修改及hosts映射文件配置，以下操作均需root权限，键入命令su root获取root权限
这个地方有点坑，远没有我想的简单，不知道是版本问题还是什么原因，按照https://blog.csdn.net/babyxue/article/details/80970526 步骤弄完之后，各机之间是ping不通的，最后我查了好几个问题(mac地址问题)，最终搞定了，都设置了一遍，但是不知道那些步骤是必须的，但是按照这步骤来是肯定可以走通的。
开始之前请依次键入一下三个命令 关闭网络管理器
systemctl stop NetworkManager
systemctl disable NetworkManager
service network restart1网络配置修改
这一步是修改虚拟机mac地址及固定IP
键入命令cd /etc/sysconfig/network-scripts/ 来到网络目录下，键入命令ls -a列出文件 修改红框标记的文件，这个根据你的安装情况来，就是修改ifcfg-en***文件，一般默认是ifcfg-enS33
键入命令 mv ifcfg-eno16777736 ifcfg-eth0 将slave1的网卡设置为eth0
不知道是不是必须的，以防万一我将三个虚拟机的网卡改为不同名字，master 使用默认的eno16777736 slave1改为eth0 ，slave2改为eth1
更新UUID：键入命令uuidgen etho 为slave1的网卡 eth0生成新的UUID，记住这个id
更新网卡配置文件：可以在VM中点击虚拟机设置，点击高级，找到克隆机的新mac地址，记住这个MAC地址
修改配置文件：键入命令 vi /etc/sysconfig/network-scripts/ifcfg-eth0
按键i 进入编辑模式，分别对mac地址，UUID，网卡名，IP地址进行修改
网卡地址HWDDR 对于slave1和slave2按照前面的方法在VM中查看
UUID按照前面的方法动态生成
网卡名，对于slave1，slave2分别修改为eth0 eth1
IP地址，对标红处的IP地址进行修改，slave1修改为192.168.1.151, slave2修改为192.168.1.152
按键esc 进图命令模式 键入命令:wq! 保存退出
2.更改默认网卡
为了使新更名的网卡生效
键入命令vi /etc/sysconfig/grub
在”GRUB_CMDLINE_LINUX“变量中添加一句”net.ifnames=0 biosdevname=0“
效果如下所示
然后键入命令grub2-mkconfig -o /boot/grub2/grub.cfg 更新配置
最后添加udev规则
键入命令vi /etc/udev/rules.d/70-persistent-net.rules
进行如下更改，我这里文件是空的，所以直接复制进去更改的，有些版本系统可能会出现多个网卡的情况，可以按照
https://blog.csdn.net/youcai35/article/details/49174747的方法禁用原网卡
3.改主机名
键入命令 hostnamectl set-hostname 你的主机名
这里键入hostnamectl set-hostname slave1 将主机名修改为slave1
键入命令 hostname 查看是否修改成功，如图所示则表示修改成功，同理将从机二 机器名修改为slave2，主机的机器名修改为master
4.修改hosts文件
这一步的目的是，使得各机可以使用机器名同学，而无需使用IP地址，可以理解为域名映射文件
添加的格式为192.168.1.150（IP地址） xxxxxxxx(映射主机名主机名字)
这里为了方便起见，对三台虚拟机配置相同的映射文件
键入命令vi /etc/hosts
按键i 进入编辑模式
在文件末尾添加如下信息 可根据你的IP设置及对应机器名进行修改
192.168.1.150 master
192.168.1.151 slave1
192.168.1.152 slave2
修改结果如下所示
按键esc 进图命令模式 键入命令:wq! 保存退出
配置完成后 重启虚拟机
5.测试
三台机器设置完毕后进行 ping测试 看看是否可以两两互通，可以多测试几次
slave2 ping slave1
主机 ping slave2
到此 三台虚拟机的网络配置完成，下一步进行SSH免登陆