虚拟化肯定少不了服务器,二层交换机和三层交换机,磁盘阵列,路由器以及Windows调试机。这里边不经历一次,不知道有多少知识点?本次血的教训,总结如下。
以openstack为例,每个物理服务器需要3张网卡,一对网卡做openstack节点间的管理平面、对外业务平面publicURL/adminURL( endpoints列表)、对外客户端平面等,一对网卡做存储管理和业务口平面,一对网卡做虚机的OVS、DVS、SRIOV平面。
磁盘阵列一般都有两个平面,以DX100为例,包含2个磁阵控制器,每个磁阵控制器都有一个MNT管理平面和一对业务口平面。
Windows调试机一般都是一个网卡,但要做调试机,就必须要再增加一个网卡。
有万兆网口的交换机,也有千兆网口的交换机,但交换机可以设置网口的速度。设置了自动协商功能的网口是不能限速的,万兆网口一般只能限速到千兆,千兆网口一般只能限速到百兆。
磁盘阵列和交换机相连接
现象:
磁盘阵列的管理口和一个千兆交换机的网口通过一个网线1相连接,网络都正常。当将一个万兆交换机网口降速后(降速后网口自动点亮,不知道为啥?),把磁盘阵列和万兆交换机相连接,磁盘阵列上的网口竟然都不亮,还怀疑磁盘阵列的网口不是千兆的,后来反复确认网络正常时千兆交换机上的速率是1000,这是为什么呢?
困惑,后来换了一根网线2连接万兆交换机和磁盘阵列,网络竟然正常了。不可思议,不知道原来的网线有什么鬼。老司机说有可能是直连线和双绞线的区别(下面介绍),后来也确认了,网络线1是直连线,应该没啥问题,但原因没找到。
双绞线的连接规范包括T568A和T568B,
T568A 白绿 绿 白橙 蓝 白蓝 橙 白棕 棕
T568B 白橙 橙 白绿 蓝 白蓝 绿 白棕 棕
管脚号 用途 颜色 管脚号 用途 颜色
1 发送 + 白绿 5 不被使用 白蓝
2 发送 - 绿 6 接收 - 橙
3 接收 + 白橙 7 不被使用 白棕
4 不被使用 蓝 8 不被使用 棕
直连线是A到A或B到B,交叉线是A到B或B到A,相同设备用交叉线,不同设备用直连线。
Windows调试机和交换机
Windows调试机一般和交换机相连接,连接后显示网线未连接,首先检查下交换机的网口速度多大的,Windows调试机的网口速度有多大,二者相连接要求待连接双方要么都是百兆网口,要么都是千兆网口,很少见到万兆的网口。
windows调试机查看网卡是千兆还是百兆?
打开任务栏右下角----找到 “打开网络和共享中心”---找到“更改适配器设置”---找到当前系统的网卡设备了,找到需要查看的网卡设备如“本地连接”,双击即可
交换机查看网卡是千兆还是百兆?
每个网口的speed可以看出来是百兆(100),千兆(1000)或万兆(10000),2G是千兆网口。
思科交换机show ip interface brief
华三交换机display interface brief
如果对接设备之间的网口速度不一致,需要设置设备(如交换机)上的网口速度。
交换机上查看下网口是否都是自动协商的:
如果都是自动协商的,用网线将两个设备连接后看下网口的灯是否闪亮,如果不闪亮,有可能是网线问题。
如果某一边或全都不是自动协商的,则进入相应交换机的某个网口,手工进行限速,比如speed 100。
遇到的现象:
现象1:一个万兆交换机网口1和一个千兆网口的PC机连接后,PC上会显示断开状态,网口速率不一样,可以尝试手工设置万兆交换机网口的速率为speed 1000,之后显示网卡正常了(不记得是否禁用启用网卡)。
现象2:一个万兆交换机网口1和一个百兆网口的PC机连接后,PC上会显示断开状态,网口速率不一样,可以尝试手工设置万兆交换机网口的速率,一般情况下不会设置成功,网口不知道越级降速(万兆只能降速到千兆,千兆只能降速到百兆)。
现象3:一个千兆交换机网口1和一个路由器的网口1相连接,路由器和交换机之间应该不会协商出来一个速率(只是猜测),当一个百兆网口的PC机和路由器的网口2相连接,三者之间会协商出来一个速率,show ip interface brief看到交换机网口1的速率为百兆的。
现象4:一个千兆交换机网口1和路由器的另一个网口3和千兆的磁盘阵列管理口相连接,这三者又协商出来一个网口速率,show ip interface brief看到网口的速率为千兆。
一个千兆交换机,网口速率开启自适应模式,和待的对接设备比如路由器进行协商一个网口速率,协商后通过show ip interface brief会看到网口的速率。
Windows调试机连接的路由器和交换机的多个网口相连接
现象:从Windows调试机上ping经过某交换机上的某个ip,丢包特别严重。一直困扰着我,不知道怎么解决?
交换机的3个网口分别配置Access vlan,然后分别接到路由器的3个网口,路由器的另外一个网口连接到Windows调试机上。这个组网下经过路由器的网络就会出现严重的丢包现象。
路由器的原理:路由器不能区分vlan,所有网络揉在一起,会环路的。
改进方法:交换机上只连接一个网口66到路由器上。Windows调试机上配置路由,将多个vlan的网络增加路由。在交换机上针对某个vlanid进行配置vlan118,进入该interface后配置网关地址比如192.168.56.254/24。另外vlan119,也同样配置网关地址比如192.168.58.254/24。在windows下配置待连通网络的路由,比如交换机上网口66配置Access vlan 118,那么Windows调试机上数据包经过此网口进入交换机被打上118标签,Windows下就要配置路由route ADD 192.168.58.0 mask 255.255.255.0 192.168.56.254 -p,这样就可以和192.168.58.0网段通了,但反过来不通(也同样需要添加路由配置)。
为防止下次开机,路由配置丢失,增加持久化参数-p。
注:永久路由存储在注册表中的位置是 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters\PersistentRoutes。