我和“限速”之间的纠缠（二）

 

我和“限速”之间的纠缠（二）

                                                   ------网管经验的积累过程实录（二）

 

五个IP地址的纠结让整个公司半个月都没安宁过。我也曾提出的两种解决方案，但都要花不少钱。老总无奈之下，将责任推向了为我们做工程的弱电公司，原因很简单，弱电公司目前给我们上的路由器ER5100达不到最终的功能，所谓最终的功能就是承载不了500左右用户的上网，其次功能上有所欠缺，不能对所有网段进行限速。弱电那边也没多说什么，毕竟后期还是要合作的，答应给我们换。换什么样的设备呢，其实我和弱电早就研究过，H3C MSR系列的路由器才算得上是企业专用的路由器。并且功能上还是蛮强大的，支持命令配置、调试。只不过型号的问题一直让大家有所困扰。 我们和弱电公司预定的会议开始了，老总刚开始就提到

正在大家无奈之际，弱电销售部经理不经意间掏出了一张电信光纤的报价单，跟我们现在8M所付的钱没有区别，老总却看出了里面隐藏的玄机。也就是年付4M的钱等于月付2M的钱，老总的意思也是在明白不过的了，省钱是老总一直追求的目标。既然要拉多根4M光纤进来，那么设备上就必须支持。起初申请了三根，也就是说得三个WAN口出去。当时考虑到了购买一台路由器或者是多台路由器的问题，如果购买一台路由器，那么必须要有多个WAN口，至少5个（没有的可以通过模块添加），而且性能上要能够承载500左右用户（为了后期管理上的方便，我当时考虑的是最多拉四根光纤进来），当时考虑到的是MSR50-40系列，不过比较贵，得3万多；还有一种是购买两台路由器，每个上面至少有3个WAN口（没有的可以通过模块添加），每台路由器的承载量至少在200-300用户之间。当时选择的是MSR3010系列，一台加一个wan口下来总共得1万左右。从表面上看，第二种是再好不过的了，至于第二种后面的配置是如何的负载，当时是谁也没有考虑过，我也是一头雾水跟着老总的思路走了下去（说实话，第一次搞这个，不是很有经验）。

很快，采购的设备到了，来了位H3C的工程师，最终决定了在周六晚上调试。当时只订购了一台H3C MSR3010的设备，增加了一个WAN口模块，总共三个WAN口。还有一台是电信拉光纤的时候送的H3C MSR系列的一款路由器，测试下来性能还不错。晚上调试开始了，规划了网络拓扑，按照当时的思路，三层交换机上配置了两条默认路由到两台路由器上，MSR 3010上也承载了两条线路出去，同时也配置了两条默认路由出去，另外电信的那一台连接了一根光纤出去。同时配置了向外的默认路由。配置完成之后，测试网络都通，没什么问题。进入路由器的图形界面，按照图形界面的配置做了IP地址限速，测试下来似乎没什么问题。当时已经很晚了，也就没再继续下去了，调试完成后，大家都回去了！到了第二天，差点挂掉，到中午的时候网络出现了问题，网页半天打不开，好多客户保修网络太卡，甚至上不了网。我快速登录到了路由器的图形界面上，查看了一下流量，差点晕倒，基于IP地址限速没有限制住。所有流量都是按端口限速走的，下载都150KB/S左右，而每根光纤也就4M，理论值512KB/S，只要有3-4个人下载，那这一条线路上就出问题了。还有的是根据数据来看，两台路由器上走的流量是1:1的流量，也就是说8M走了一半，4M走了一半。那电信那边的那个路由器肯定承载不住。我当时心里也是出现了咯噔，MSR路由器上限速一时半会搞不定，无奈之下，只好从各个楼层的二层交换机端口下手了，至少能缓解一下，于是，我将每个楼层二层交换机端口上传和下载带宽都限制到了64KB/S，终于缓解下来了，客户投诉的少了，但是我知道，事情还没有结束，一个房间里如果有一人在下载，那其他人就别上网了，但总比大家都上不了网强。配置完成之后，我又打电话预约了H3C的工程师，晚上继续调试。当时我考虑了很多，不仅是限速问题，还有交换机上流量2:1分配的问题，MSR3010上流量分配的问题，以及其中一条线路出故障如何进行备份互换。但是，眼下只要能先把限速问题解决了，其它问题后面慢慢解决。

晚上10点多，H3C的调试人员总算来了，根据图形界面上的限速配置没有任何问题，可就是限速不起作用。到了12点多，他咨询了他的主管才知道了情况，限速在图形界面下是没有办法配置全的，要在命令行上配置，他发过来了一篇文档，我们按照文档内容一步一步配置了下来。经过测试，算是没什么问题了，达到了预期的效果。于是，我将各个楼层的二层交换机端口速度又恢复了正常，同时我们做了策略路由，在三层交换机上进行了大概2:1的流量分配。资料参考的是网上一位牛人配置的文档，测试下来没有什么问题，当时已是凌晨2点多了。

到了第二天，我不停地随时查看着流量的大小，电信那台路由器上的流量基本稳定，唯独MSR3010上的部分流量不正常，部分客户的下载和上传达到了两个IP的流量。经过查看，IP地址限速和端口限速都没问题。这下又是一头污水。细细分析了一下，才发现只要是用迅雷、网际快车等多线程软件下载的，而且走的是MSR3010路由器的，下载速度都能达到2个IP地址的速度，原因很简单，这些软件都是多线程连接的，MSR3010上的两条线路，它都走，所以速率是IP地址限速的2倍。如何隔离开呢，这又成了一个问题。不过还有一个问题，我一直也是百思不得其解，以前包括现在每天都有多个IP地址上传速度都达到了峰值。直到那天下午我才知道了答案，当时，我查看到了一个IP地址的上传速率一直都在峰值，到DHCP服务器上查看主机名竟然是总经理助理的电脑，好奇之下去了他的办公室，才发现是迅雷在作祟，迅雷只要开着，而且没做过上传限制，默认，他将你平时所下载的软件又共享出去让别人下载。这样就不足为奇了，大部分客户的上传都能达到峰值并不是在上传数据，而是开着一些迅雷、BT之类的工具。唉，怎么解决呢，总不能到客户房间去告诉客户关掉迅雷吧！无奈之际，只好将上传的速率又降低了一下！

网络总算恢复了往日的平静，可事情并没有我们想象的那么好！问题接二连三的又出现了，内部ERP服务器，部分秘书访问不了；从MSR3010端口映射到外部网络，在外面也访问不了；从外网ping MSR3010丢包严重，ping 电信路由器正常；网络共享，一部分人能访问，一部分访问不了；各个楼层的二层交换机，只能在VLAN1里通过SSH登录，其它VLAN登录不了；不同VLAN之间貌似不能访问；三层交换机上一条线路断掉不能切换。走MSR3010路由器的客户网上银行登录超时、保税系统无法使用……预知如何解决，下次再叙。

参考

MSR系列路由器基于CAR限速的配置（关于H3C MSR流量监管/流量整形/物理接口限速详细配置可参考 http://www.h3c.com.cn ）：

要求：192.168.2.2～192.168.2.229，192.168.3.2～192.168.3.254下载速度为56KB/S，上传速度为64KB/S。

在全局模式下配置CAR列表：（destination-ip-address由于是从公网IP地址到私有地址属于下载，在端口上要应用在下载命令中。Source-ip-address由于是从私有IP地址到公网地址，属于上传，在端口上要应用到上传命令中）

qos carl 1 destination-ip-address range 192.168.2.2 to 192.168.2.229 per-address

qos carl 2 source-ip-address range 192.168.2.2 to 192.168.2.229 per-address

qos carl 3 destination-ip-address range 192.168.3.2 to 192.168.3.254 per-address

qos carl 4 source-ip-address range 192.168.3.2 to 192.168.3.254 per-address

在端口模式下应用CAR策略（下面是配置在外网口，inbound属于下载，outbound属于上传，一般情况下，cir×62.5=cbs，448×62.5=28000）

qos car inbound carl 1 cir 448 cbs 28000 ebs 0 green pass red discard

qos car inbound carl 3 cir 448 cbs 28000 ebs 0 green pass red discard

qos car outbound carl 2 cir 640 cbs 40000 ebs 0 green pass red discard

qos car outbound carl 4 cir 640 cbs 40000 ebs 0 green pass red discard