在6509上面部署PVLAN的体会

需求:服务器区改造后，所有的服务器都部署在一台6509下.因服务器属于不同单位，近期安全事件时有发生，因此考虑将不同单位的主机隔离。

由于服务器的IP地址更改非常困难，加之不方便修改网络结构，因此考虑利用6509的Private VLAN 特性完成服务器隔离。

 

前期工作：

设计：

promiscuous口：防病毒升级服务器，补丁分发服务器，安全分析服务器等1。

community：某单位有多台机，占用多个6509端口，并且这些机需要互通。

isolated：某单位就占用一个交换机端口，并且该主机不和托管区子网其他单位机互通。

实验：

在一台6509交换机上做利用一个空槽位，用2台笔记本做实验，分别将端口设置为 promiscuous/community/isolated去验证，无问题。

 

实施：

ios:12.2(18)SXF10

Model:

1   WS-X6724-SFP     
2   WS-X6348-RJ-45      
3   WS-X6548-GE-TX   
5   WS-SUP720-3B     
6   WS-SUP720-3B         
7   WS-X6348-RJ-45   
8   WS-SVC-FWM-1        
9   WS-X6148-RJ-45

 

配置脚本：    

1.交换机VTP改成透明模式

vtp mode transparent

2.vlan那里设置vlan的属性 
主vlan
Vlan 100
private-vlan primary
private-vlan association 200-217

       
隔离vlan

vlan 200
name isolate-vlan
private-vlan isolated

 

团体vlan

vlan 20x
name xxx
private-vlan community

3.vlan-interface设置

interface vlan 100

private-vlan mapping 200-217

4.端口设置

P
interface giX/X
switchport mode private-vlan promiscuous
switchport private-vlan mapping 100 200-217

i

interface faX/X
switchport mode private-vlan host
switchport private-vlan host-association 100 200

c

interface fax/x
switchport mode private-vlan host
switchport private-vlan host-association 100 201

 

实施体会：原本以为实施 private-vlan host很简单，并且之前在6509上也做过实验，但是在实际部署上，却遇到很大麻烦。

由于vlan-interface也跟着改变，因此整台6509相关vlan也就一起改了。做好脚本实施后，突然发现部分端口通，而部分端口不通！

show ip arp 查看，原本community和isolated端口政策后，后面会显示pvid，但是此时不会显示！

一台一台机ping看看，发现奇怪现象

有些机，可以ping通，也可以正常服务，但是show interface ，显示却是noconnected！

有些机，完全不通，当然显示也是noconnected

 

奇怪，奇怪，分析一下下，发现promiscuous口都没有问题，只是community和isolated会有这样的情况，考虑到业务不能完全中断，先把所有口设置成promiscuous，使所有的端口都能通再说，其他的端口慢慢修改，这样影响比较小一些。

 

之后又试了几次，发现有如下log：

x/x is set to inactive because x/x is a promiscuous port

然后就show tech给cisco的tac。

 

TAC跟进，我配合他们做了些实验，确认原因如下：

Bug detail:

the problem is resolved, the root cause is a BUG for the line card configure PVLAN.

Private VLAN host port cannot coexist with Private VLAH promiscuous port trunk port, and SPAN destination port on the same port ASIC on such line cards as WS-X6324-100FX, WS-X6348-RJ-45.

If a user puts the two types of ports on a same port ASIC, say one host port and one trunk port , then only one of the port will be forwarding whilst the other will be put in 'inactive' mode

 

建议：

- update the IOS ver.
- don't put the two types of ports on a same port ASIC.

郁闷呀，原来ASIC的问题，之前只是小范围做实验，网上基本也就是实验，也不是部署经验，弄我烦了几天…

跟着解决咯：

首先尝试升级ios，到最新稳定版本后，情况依旧，不过，这次显示noconnected肯定不通，不会之前那种可能通的情况出现，呵呵。

之后只有调整网线，然后发现：

12口一块芯片的:WS-X6148-RJ-45  WS-X6348-RJ-45

24口一个芯片的: WS-X6548-GE-TX

超级郁闷， WS-X6548-GE-TX还是新买的，还买了好几块。

最后麻烦机房的同事，把6509前面密密麻麻的网线重新部署了，把promiscuous 口集中到12个一起或是24个一起。

之后，由于跟着private-vlan启动，stick-arp跟着，某些端口下面有些服务器是有备份服务器的，当备份服务器替代主服务器时候，设备不给更换arp，又跟着设置，也要小心。

还有多说一下，开始部署时候，我没有注意到很多服务器有做smtp，并且内部邮件服务器要互相通信，这样的话，这些机器也要放在promiscuous口，在实施特性时候，大家一定要想清楚再做。

本文出自 “独立之精神 自由之理想” 博客，转载请与作者联系！