管理网络与业务网络分离+虚拟网络部署

一、部署环境：

1、ESXI6.7主机1台
2、创建有多台vm server，并已安装好系统
3、工业环境的物理链路已经搭建好
4、一张光口网卡（4端口万兆）

本文主要解决：管理网络与业务网络分离；让物理网络充分发挥其性能。

二、物理网络环境部署：

1、万兆光口链路up

（1）两端（ESXI主机与物理交换机）使用10Gbps光模块，同为单模双芯，LC——LC的单模双芯光纤4条，本次工业环境为华为S9706核心交换机与ESXI上安装好的intel x710-da4网卡，具体如下图：


（2）intel x710-da4网卡端使用的是intel的10Gbps光模块，核心交换机端使用的是华为10Gbps的光模块
（3）核心交换机的主控板为EH1BS9706E00-16端口万兆光接口和16端口千兆光接口板
（4）up状态如下图：

2、物理端口配置不同的VLAN，以适应不同业务的需求

（1）vlan90为NTP与流媒体服务。NTP服务为不同的监控网络设备与网络摄像头提供统一时间，当监控机运行期间自动校验时间，使各区域的摄像头录制的视频保持时间上的同步，而不会出现时间差。流媒体服务为不同的网络终端从网络调取监控时，使重复的流量不占用更多带宽。
（2）vlan158为管理网络为平时管理员监控与协调网络的运行。
（3）vlan128为直播运营、数据化运营等教学网络服务。
（4）物理端口的配置如下图：

三、常见业务实例配置

1、网络设备的NTP服务，（交换机、路由器、防火墙等）

使各网络设备运行的时间同步，一旦出现故障等，可根据日期与时间核实日志信息。
（1）NTP服务端：[华为网络设备]
system-view #进入系统视图
vlan batch 90 128 #创建用于NTP管理的VLAN，90用于NTP，128用于DHCP给终端
分配ip地址
interface vlan 90 #进入VLAN的接口视图
ip address 172.16.11.254 24 #配置VLAN的ip地址与子网掩码，该ip地址作为NTP与流媒体服务
vlan的网关
quit #返回到系统视图
undo ntp-service server disable #使能NTP服务器功能
ntp-service refclock-master 2 #设置本地时钟作为NTP主时钟
save #保存

（2）NTP客户端：
system-view
vlan batch 90 128
undo ntp-service server disable
ntp-service unicast-server x.x.x.x
quit
save

2、配置win server的NTP服务，使各监控机与几百个网络摄像头时间同步。

（1）启用NTP服务器，打开注册表编辑器，找到对应路径，修改键值Enabled为1，如下图：
\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer

（2）以本机的时间作为可靠的时间源，把AnnounceFlags默认值10改为5，5的意思就是本机为可靠的时间源，如下图：
\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config

（3）管理工具中的服务，windows time如何使它开机自动启动
如下图：

以管理员身份运行命令提示符，执行：
sc config W32Time start= AUTO
注意命令中的大小写与空格

下次重启server后，windows time服务则乖乖的自动运行中。

3、监控网络流媒体服务器与防火墙端口配置

本例监控网络的流媒体服务器以海康威视为例，
（1）为避免网络中多处调用监控网络，而致使网络中出现重复的带宽流量，配置一台流媒体服务器作为中转，能起到很好的流量管理作用，从而减轻网络传输中的流量阻塞，如下图

ivms-4200在海康威视官网有下载，本文不作链接指引
（2）在win server端打开流媒体服务器软件，本机使用的ip为172.16.11.253，与之前在交换机上配置的网关172.16.11.254在同一网段

（3）在ivms4200的客户端配置，如下图：

（4）win server上为安全起见，开启防火墙，然后打开对应的流媒体服务器端口号
查看流媒体服务器的监听端口号如下图：554

客户端监控录像机的NTP端口号如下图：123

为使该win server能同时作为NTP服务器与流媒体服务器，所以在防火墙中开启123端口与554端口

之前看到的端口号中未给出具体的协议，所以我们把TCP与UDP协议对应的端口号都开启来，以免造成业务中断
下面使用telnet命令查看这554端口号是否正常
telnet 172.16.11.253 554

命令执行后，只剩左上角闪烁的光标，说明流媒体服务器上的554端口开启正常

4、ESXI对USB加密狗与U盘的识别

在企业或公司中，经常会遇到有些购买的软件需要使用USB接口的加密狗，或是通过U盘拷贝文件到ESXI主机下的vm server中，而直接插到ESXI主机上的USB设备无法被vm server识别，从而有了此处的设置
（1）在编辑vm server时，添加USB控制器与USB设备，如下图：

（2）添加完成后，通过ESXI主机控制台发送ctrl+alt+delete登录到vm server中，若设备管理器中没有出现！号或？号的设备，则说明接入的USB设备驱动正常，可以正常使用了，如下图：

（3）需要使用加密狗的平台运行正常，如下图：

四、虚拟交换机与上行网络链路部署

1、标准交换机与分布式交换机

（1）标准交换机与分布式交换机都属于逻辑交换机
（2）标准交换机一般用于在同一ESXI主机内的各vm server 之间的通信，也把vm server与物理交换机的之间的流量通过上行链路端口组由vmnic进行转发，一般用于中小规模网络中，各vm server跑的业务可通过OVF模板部署较为方便，后续的文章中会给出。
（3）分布式交换机一般用于规模较大的网络中，可对不同ESXI主机之间的流量进行转发，如：ESXI1业务量太大时，可将计算资源与存储资源通过热迁移，转移到ESXI2主机上，转移过程中业务不中断；配置HA高可用时，则需要使用分布式交换机进行故障容错部署。

2、为不同的业务类型创建不同的虚拟交换机

（1）server2012跑NTP网络设备校时服务，与网络监控流媒体服务，使用ESXI中的vmnic2作为上行链路网络，10Gbps正常显示源于ESXI中正确安装了万兆网卡驱动，此前的文章中有安装过程。

（2）2台server2016跑教学系统业务，分别为数据运营一体化平台，直播营销系统，使用上行链路为vmnic4，如下图：

（3）管理网络与资产管理业务网络流量都较小，暂划到同一网络链路中，上行链路使用vmnic0，如下图：

上图中，另有CentOS7与win server2019暂未部署业务，为后期新增业务做模板的准备。

3、将运行不同业务的server放到对应的虚拟交换机中

4、配置不同业务的上行网络链路

把不同的vm server放入不同的标准交换机中，每台标准交换机都对应了不同的vmnic上行链路，即能实现不同的vm server网络流量分流处理。

5、链路的带宽调整

（1）各新建的虚拟机，默认使用为e1000的网络适配器，即100Mbps速率，若要提高带宽速率，则需做如下调整：
在左侧的网络中，选中需要调整的标准交换机，编辑vswitch的端口组，流量调整，根据实际情况进行端口的网络流量修改，通过实际测试对比如下图：

（2）在物理交换机上的千兆端口展示

（3）将步骤（1）调整为千兆速率后的端口速率如下：

（4）将步骤（1）调整为万兆速率后的端口速率如下：

当然，此处的受限在于物理交换机的接入层是千兆端口，能达到400Mbps，说明比之前有了更好的速率体验。

5、如何让winserver2008、2012、2016、2019跑10Gbps

（1）新建的虚拟机，默认采用e1000的网络适配器，最终在vm server启动后，也只显示1Gbps的速率

（2）给vm server 安装vmware tools的过程中会发现vmnet3驱动程序，如下图：

（3）vmware tools安装完成后，关闭vm server，编辑虚拟机，调整适配器为vmnet3，如下图：

保存后，重新打开vm server电源
（4）显示网络适配器速率如下：

好好的，与物理链路匹配的10Gbps显示正常了。
注：在步骤（3）中，若ESXI的物理机BIOS支持SR-IOV直通，物理网卡也支持该技术，使用该项则vm server所跑的效果更接近于真实物理机直接跑vm server系统的效果。
致此，成功完成了管理网络与业务网络的分流，及如何让万兆网卡跑出10Gbps的效果，敬请各位交流指正！