大型视频监控系统双链路冗余网络设计缺陷故障处理

11年本人负责集团公司的一大型视频监控系统省级主站项目建设工作，该省级主站集中整合集团下属10多个分公司所管辖的N多个（以百论）点的视频监控系统，接入终端摄像机约4000个。架构上软硬件采用冗余配置（主备切换），网络也是双链路设计，架构图如图1（服务器有4类，分别为通信、流媒体、web、管理）。建设投运后每隔几个月会出现故障，无法通过浏览器进行web服务访问并浏览视频，后经现场测试，web服务器的tomcat和mysql没有成功启动。此外发现通过服务器汇聚交换机ping服务器IP，居然出现严重丢包现象，进行网络链路检查，发现其中备用防火墙的上联的光纤灯不闪烁。意识到省级主站系统应该出现了严重的故障，于是组织厂家技术人员一起开展故障处理工作。经过几天时间的故障分析排查，问题得到解决，具体如下：

首先根据勘测情况，可以大概断定故障主要包括2个，1个是web服务器应用故障，2是网络故障。接下来是对两个故障进行分别处理。

1、应用故障问题主要是由于主备服务器在切换过程tomcat和mysql数据库没有成功启动，导致的web无法访问，其中使用的主备切换软件为天晴，经过多次调整测试，发现该软件稳定性还是不太好，切换成功率无法达到要求；

2、网络故障问题较严重，以前一直没有意识到这个问题存在。现状除了通过服务器汇聚交换机ping服务器丢包外，双网络链路情况下，其中一个备用防火墙上联光纤不通，就导致整个系统瘫痪（即使在问题1应用故障处理完后）。无意中将服务器双网卡中的连接交换机2的网线拔掉后，通过交换机1ping该服务器正常。经过分析，原因是因为服务器的双网卡是作了负载均衡的，并且服务器的linux系统只要识别服务器到连接交换机是正常的，数据就进行两个网卡的分发，而实际上交换机2的链路已经断掉，因此才会出线丢包情况，问题原因终于查明。这个网络设计存在的缺陷，该架构稳定性较差。

        经过讨论分析，给出的解决方案是对两个交换机进行生成树配置，原网关所在交换机做相应配置，主备服务器分别只接1台交换机。这样不管是主备服务器切换、交换机故障、防火墙故障，主备设备只要有1个设备是正常的就能保证系统可以正常运行。