Cisco UCS环境中CentOS带Vlan ID的网络配置指南

最近新进了一批Cisco UCS C系列服务器，经过两周的部署安装终于可以进行测试了。本文简要介绍一下cisco UCS服务器中操作系统（CentOS 6）的网络配置。可以简单的认为，本文描述的是一台物理服务器用网线将网卡连接到上层交换机的trunk模式的端口中的网络配置。

物理连接拓扑图如下所示。

顶层采用Cisco C3560物理交换机，为整个机群提供Internet连接。Vlan划分为两个，一个管理Vlan一个应用Vlan，Vlan ID分别为4和31，上联端口全部设置为trunk模式。  
两台互联矩阵（Fabric Interconnect）以集群的形式将6台UCS服务器连接在一起，降低了网络复杂性和提高了服务器管理能力和大规模扩展性。每一台UCS机架服务器装有一块VIF接口卡，提供两个千兆以太网接口，利用Cisco网络虚拟化技术同时提供管理网络接口和操作系统网络接口。

其中FI是版本较老的6120和新服务器的版本不一致，因此还需将版本全部设置为最新版本，如将FI升级到2.2(11d)版本，这样才能通过FI管理这些UCS C Rackmount Server。

在Cisco UCS Manager中，为每一个服务器虚拟出4块网卡，第一块网卡用作管理网络接口，用于远程管理。在配置的过程中将这四块虚拟网卡全部设置为“trunk模式”，可以处理两个Vlan（Vlan 4、31）和native Vlan（Vlan1）的流量（此处本应该设置为“access模式”，正由于是trunk模式，才有了下文）。如果不给网卡加Vlan tag标记的话，操作系统网络就不通，这与上游交换机与下游交换机连接有差别（下游交换机可以手动配置或自动协商），如可简单理解成如下连接模式，如下图所示。

由于不是access模式，因此在操作系统中必须统一Vlan“马甲”，将Vlan ID打给网卡上。具体流程如下：

1.由于是最小化安装的，本身又没有联网，因此必须挂载CentOS DVD iso到服务器上，可借助KVM的虚拟光驱远程挂载，一般的，在CentOS中，cdrom编号为1，即/dev/cdrom1，使用mount /dev/cdrom1 /mnt，可以通过命令完成提示判断，如果提示执行设备文件系统类型的话就是错误的编号。

2.通过rpm命令安装vconfig（VLAN (802.1q) 配置程序）来处理Vlan tag，rpm –ivh /mnt/Packages/vconfig-1.9-8.1.el6.x86_64.rpm，具体参考下面图示。

3.在安装vconfig前8021q模块就已经存在了，默认不会加载到内核中，执行vconfig命令时会自动添加到内核模块中。可以采用modprobe命令将8021q模块添加到内核中，modprobe 8021q，添加成功后无任何提示信息并自动退出，可用lsmod命令列出8021q模块验证添加成功与否，lsmod | grep 8021q，具体参考下面图示。

4.利用vconfig给网卡添加Vlan tag，命令为vconfig add eth0 4，eth0表示欲使用的网卡，4表示Vlan id，成功后会提示eth0已经添加Vlan id xx，具体参考下面图示。

5.复制ifcfg-eth0到ifcfg-eth0.4，注意eth0是必须启用的，但不需要填写IP地址，就像交换机一样。关键点：将ONBOOT设置为yes，将BOOTPROTO设置为none。

6.编辑ifcfg-eth0.4文件，将ONBOOT设置为yes，将BOOTPROTO设置为static或dhcp，就像配置普通的网卡一样进行配置，配置结束后重启网络，利用ping检查网络是否畅通。

end