工作日志（2007-10-15）

        今天又是一个周一，在班车上的时候，心里就忐忑不安，到公司应该能上网吧！ 

上周周四上午在windows网关上安装那个防ddos攻击防火墙，把网关给挂了，后用一台备用的装有2003的2850赶快跳了个nat补救，然后上午一个公司歇工一个小时，下午路由出莫名问题，后调路由内网网关ip，也歇工一小时，都是紧急处理，周五早上到公司又出问题！

老董从楼上跑下来问总监怎么回事，我自己脸都快绿了。。。唉！咋这点背啊！

        周日加班，把以前从网上down的海蜘蛛路由系统支起来，测试了各项功能，都可以，就是有一项功能不好使，p2p下载限制功能没用，（用迅雷下载和bt下载测试），开了完全禁止p2p下载选项后不起作用，该下多少还是下多少，然后转向通用下载上传速度的限制，看了一下，这个速度限制功能还兼有qos的功能，还不错，qos的功能没试，不过试了限速的功能，可以限速，于是搭好，跑了两个小时，没问题，走人，回家

        周一起来又感觉有点冒昧，虽然这系统周四的时候我们运维的几个人也用了半天没出什么问题，但毕竟没有带六十个点跑过，还是心里害怕，如果跑着出问题了我好像也要出问题了，还好，一上午来了没什么问题，就是有两个人说用不了网络打印机了，下去看一下，打印机被暂停了，比较莫名奇妙，给他们的机子上把打印机取消暂停，就ok了

        正题开始，下午4点半跟前，一同事跑下来说网络又有问题了，在下面前台机子ping软网关，居然不通，ping路由，也不通，心里面咯噔一下，妈的，不是那个昨天加班弄得那个海蜘蛛连一天也没熬过挂了吧，然后上楼回自己工位，听别的同事说，只要电脑巨慢，但只要把网线一拔就没问题了，看下自己电脑也是这样，真是很奇怪，以前遇见过一次类似的情况，不过当时什么原因给忘了，来不及想了，马上下机房，把软网关撤下来，找conlse线连上路由器接笔记本配，进去一看路由cpu利用率100%，先不管，当然上不了网了

怀疑是nat数量太多导致，disp nat 发现nat数量只有30多条，不是nat导致的，disp int eth0 接内网的路由端口 看下进内网的端口数据量特备大，而且广播包巨多，再查看下外网的端口，数据流量和包都很少，，然后在路由上先拔外网的线，，看路由，还是100，然后接上外网的线拔内网的线，路由利用率马上变为5%，看来是内网的问题，然后查看各个交换机的状态指示灯，发现三个48口的接入层交换机的所有口都狂闪，而且闪的频率是一样的居然。。。这是什么问题啊，没见过，汗！首先想到是内网有人中广播包型病毒了，可能是发送目的地址和源地址都是 255.255.255.255的包，然后在汇聚层交换机上拔接入层交换机的线，先拔一，二，三楼的接入层交换机和汇聚层交换机相连的线，我的思路是把某个接入层交换机的线拔掉后如果其他交换机不再出问题，那就是这个接入层交换机上的某个点出了问题，三个都依次拔了一下，故障依然存在。。。难道故障在服务器区？依次开始拔掉四个服务器机柜的线，当拔2号机柜的交换机和汇聚交换机连的线拔掉时，其它的等不狂闪了，说明问题在2号机柜，2号机柜有什么问题啊？？？最后一经检查，原来是2号机柜的接入层交换机和一号机柜的接入层交换机之间连了一根线，而二号机柜的交换机和一号机柜的交换机以前都是和和汇聚层交换机相连的，就因为多插了一根线，就出现了这样的问题，事后想了很长时间原因，大概是一号机柜的机子发的广播包发到一号交换机，然后广播包会发到二号交换机，然后广播包到二号交换机后又会发到二号交换机的所有口，这样又会从二号交换机和一号交换机连的那个线发回去，这样就造成了广播包的不断循环和扩大，然后就造成没每个点都在收大量的广播包，每个机器去响应处理这些数目巨大的包的时候，就会耗尽系统资源，会变得特别特别慢，一拔下网线后不收包了就会变快，可能就是这个原因吧！

        唉，他奶奶个凶的，上礼拜被那网络整的精神都快崩溃了，礼拜日感冒，今天还开始发烧，唉！祸不单行啊！就是盼网络少出点问题吧！

本文出自 “心平静 自非凡” 博客，谢绝转载！