久壳教你F5负载均衡设备故障怎么处理！

2022年，我司技术工程师在进行第四季度设备巡检时，就在客户公司发现了一个负载均衡设备故障。

1.确认问题

  我们发现有一台F5负载均衡设备，状态出现异常，出现所有的业务健康检查均未通过、设备HA状态异常现象，如下图所示： 

 

  经确认，1.1.1.2与1.1.1.1两台设备互为主备：在故障出现前，1.1.1.2为主机，1.1.1.1为备机；目前，1.1.1.2状态异常转为备机，1.1.1.1成为新的主机。

2.原因分析

  在确保生产环境的设备主备状态正常后，对故障设备进行原因分析：

1.WEB页面检查设备，发现1.1.1.2的业务端口出现down的状态：

 

2.现场检查设备，看见设备除了管理口外的端口都没有亮灯：

3.目前分析可能存在的问题有三种：

①线路或者光模块存在异常；

②设备系统存在异常；

③设备硬件存在异常。

由于本次故障四个端口同时出现问题，故排除了第①种可能。

4.进行重启设备，发现设备在重启后故障现象依旧存在，且设备在命令行下一直有异常日志弹出：

 

Bcm56xxd是控制网口的进程，日志条目一直显示该进程正在重新启动，目前问题基本定位到是由于该进程的异常引起的；

5.对设备进行重装系统，发现设备在完成系统重装后，仍然一直在弹出上述日志，因此可以排除是软件层面的异常，排除第②种可能；

6.综上所述，确定是硬件层面的故障导致了问题的出现。

3.解决方案

  经与客户协商，从客户测试环境撤下一台同型号的F5设备，将该设备当作新的备机来使用。

  操作流程如下：

1.将新备机在测试环境的配置备份下来，存档备用：

2.将新设备从原机柜断电下架，重新上架到对应机柜；

3.为新设备上电并重新安装系统，将系统更新到与主机1.1.1.1相同的版本

4.为新设备配置好基础的网络配置，如设备管理IP、管理员账户等；

5.在新设备上将设备手动锁定为“强制备机”状态，避免后续发生自动切换；

6.将原备机的心跳线、管理线、业务线拔掉；

7.将原备机拔下来的心跳线、管理线接到新备机上；

8.使新备机与主机完成HA关系的建立；

9.HA建立完成后，将配置从主机同步到新备机上；

10.配置同步完成，将业务线接到新备机上；

11.检查新备机的状态，确认新备机状态正常；线路状态正常、业务健康检查正常；

  

12.解除备机的“强制备机”状态。

主备的问题已基本解决，后续再手动进行一次切换测试即可。

4.得出结论

  管理IP为1.1.1.2的原设备，硬件存在异常，导致所有网口出现问题。

  本期内容已结束，如果有问题可以留言，带你看不一样的IT世界，我们下期再见！