开场白

最近在机房的服务器上装kvm虚拟主机。
不经意间,上演了一场由MAC地址异常而引发的服务器与xshell之间的血案!

问题描述

在一台服务器上装了两个虚拟机,其中一台是从另一台上克隆的。克隆的虚拟机开机之后,发现ssh不能远程连接:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第1张图片

然后在虚拟机管理界面本地去连接上服务器排查:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第2张图片

查看IP地址,想确认xshell是不是连错了IP,找错了对象,却发现ifconfig居然查看不到IP??
图:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第3张图片

查看network的启动状态,看到的是绿油油的active状态。
然后又查看配置文件/etc/sysconfig/network-scripts/ifcfg-eth0 ,检查IP。
配置明明是正确的啊,咋看不到IP呢?
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第4张图片

查看/var/log/messages日志,发现有下面这样的报错信息,提示MAC地址有异常:

Jun 24 22:21:05 devops02 network: Shutting down interface eth0:  ERROR    : [/etc/sysconfig/network-scripts/ifdown-eth] Device  has MAC address 00:00:00:00:00:00
Jun 24 22:21:05 devops02 network: 52:54:00:72:E3:FB, instead of configured address 52:54:00:32:43:34. Ignoring.
Jun 24 22:21:05 devops02 /etc/sysconfig/network-scripts/ifdown-eth: Device  has MAC address 00:00:00:00:00:00
52:54:00:72:E3:FB, instead of configured address 52:54:00:32:43:34. Ignoring.
Jun 24 22:21:05 devops02 network: [FAILED]

KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第5张图片

问题排查

根据上面的报错信息,开始了排查的长征!
日志提示MAC地址异常,查看ifcfg-eht0配置的MAC地址是HWADDR=52:54:00:32:43:34
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第6张图片

然鹅,ifconfig显示出来的MAC地址却是52:54:00:72:e3:fb
图:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第7张图片

原来,是两边的MAC地址不一样,引起的问题!

原因分析

为什么会导致一台主机上有两个MAC地址?
原因是在KVM的界面克隆虚拟机的时候,有一个设置mac地址的“Random MAC address”按钮:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第8张图片

克隆主机的时候,因为害怕克隆主机和原始主机的mac地址产生冲突,所以在克隆的时候点了“Random MAC address”按钮,就随机生成了一个新的MAC地址52:54:00:72:e3:fb

这个MAC地址就是后面在ifconfig里面看到的那个mac地址52:54:00:72:e3:fb

而在克隆界面的旁边还有一个XML配置界面,里面也有一个MAC地址的配置:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第9张图片

XML界面的MAC地址就是后面写入到配置文件ifcfg-eth0的MAC地址:52:54:00:32:43:34

这就导致ifconfig和ifcfg-eth0两边的MAC地址不一致了。

另外:

测试了一下,即使在前面点了“Random MAC address”按钮,生成新的mac地址,再把新的MAC地址修改到后面的XML文件,然后再点击克隆主机。新克隆的主机ifcfg-eth0文件里面的MAC地址还是以前的52:54:00:32:43:34,跟ifconfig的MAC地址也是不一样。还是要手动改配置文件。

在这之前也有在KVM上克隆了十几台服务器,但是以前都习惯于在刚刚克隆好主机之后,第一步就是删掉配置文件ifcfg-eth0文件里面的MAC地址和UUID地址,而恰好之前的原始主机配置文件ifcfg-eth0文件里面又配置了DEVICE(关于DEVICE见后文),所以删掉配置文件的MAC地址之后,网卡就顺利起来了,并没有注意到克隆主机MAC地址不一致的问题。

解决方法

这个问题有两种解决方法:
1、修改配置文件ifcfg-eth0的MAC地址,改成和ifconfig一样的。然后再重启network:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第10张图片

2、删掉ifcfg-eth0里面的“HWADDR=52:54:00:32:43:34”这一行,重新添加一行“DEVICE=eth0”,然后重启network:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第11张图片

注意:
删了MAC地址之后,一定要确认配置文件上有DEVICE配置,否则启动network的时候,messages日志里面会有这样的报错:

Jun 24 22:24:40 devops02 network: Shutting down interface eth0:  ERROR    : [ipv6_test_device_status] Missing parameter 'device' (arg 1)
Jun 24 22:24:40 devops02 ipv6_test_device_status: Missing parameter 'device' (arg 1)

KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第12张图片

上面两种解决方法都尝试过了,重启network,再查看IP地址,就显示正常了:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第13张图片

xshell再次远程连接已经OK:
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第14张图片

结束语:

回顾上面的问题,小小总结:

1、ifconfig的MAC地址和ifcfg-eth0的MAC地址一定要相同;

2、如果在ifcfg-eth0里面删除了MAC地址,就要保证有DEVICE配置,因为 DEVICE 和 HWADDR至少得有一个;

3、“/var/log/messages”文件和Google是个好东西;

4、多踩坑,就会避免这种low low的尴尬。

解决问题参考:
https://bugzilla.redhat.com/show_bug.cgi?id=1331276 :
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第15张图片

https://www.linuxquestions.org/questions/linux-newbie-8/etc-init-d-network-restart-failed-4175559158/ :
KVM虚拟机MAC地址冲突,引发服务器对xshell说:Go away!_第16张图片