立哥先进科研-金融云网架设经验

数据中心内部网络应采用高可靠、低时延、可扩展的网络架构，跨数据中心网络应采用高可靠、可扩展的网络架构。

针对金融云网络的要求，采用3AZ两地三中心的的网络架构模式，AZ之间通过DCI进行互联，并保证公网方向提供三线接入，同城双数据中心实现双活AZ，异地数据中心作为灾备中心。

AZ内采用两级clos架构，定义了综合接入区、高速转发区和业务资源区三个逻辑区域。综合接入区负责内外联功能，高速转发区是连接各个分区的转发平面，业务资源区是云网络中承载业务服务器的统一资源池。具体包括：Spine交换机、B-leaf交换机、DCI-leaf交换机、接入交换机、边界安全设备和网络设备、宿主机集群、裸金属集群、管理集群、网元集群、存储集群以及支撑与服务运营系统服务器集群等。整体组网方案如下：

综合接入区：综合接入区作为业务服务区的外延网络，提供云资源池网络、互联网访问、第三方外联、DCI互联等网络通道，由外网接入模块和骨干网接入模块组成。

核心交换区：承担高速数据交换的任务，作为一个集中的转发交换区域，提供东西向和南北向流量，为各功能区节点提供最佳传输通道。

业务资源区：提供所有云业务的底层网络承载，各个云业务系统的内部流量交互在该区域内完成，此部分是云网络的核心部分，其专区包括业务资源模块和云功能模块。

管理区：承载集群管理流量，并与CN2 VPN1107打通包括带外管理模块和业务管理模块。业务流量与管理流量分离，通过业务接入交换机负责业务流量，管理接入交换机负责管理流量，从接入层将业务流量与管理流量分离。

支撑与服务运营区：金融云建设独立的支撑与服务中心，含云调系统、工单系统等，以及独立的运营中心，包含门户、用户管理、计费系统等，采用独立于云业务系统的接入交换机，接入到B-leaf交换机。

本期网络设备堆叠配置要求：

1. 新增B-leaf交换机独立部署；

2. 综合接入：综合接入（POP）交换机堆叠部署。单台交换机 40GE/100GE 上联两台 B-Leaf；

3. 防火墙：业务防火墙独立部署，需要支持 session 同步。与 2 台 B-Leaf 交叉互联；

4. 新增DCI-leaf交换机独立部署：

新增25GE交换机采用2*100G做M-LAG, 2*25G做MAD检测；

新增万兆交换机采用2*40G做M-LAG、2*10G做MAD检测；

新增千兆业务管理交换机采用2*10G做堆叠、2*GE做MAD检测。

ACS/管理网络拓扑图

本期工程单独构建带外管理网络，连接服务器的IPMI口及网络设备的管理口，连接带外管理交换机，带外管理交换机通过带外汇聚交换机上联CN2网络及省内DCN网络。

通过串口管理工具，可以实现对云存储资源池的网络设备进行远程集中管理，包括核心交换机、防火墙、负载均衡交换机等，从而提高故障响应速度，提高维护SLA等级。

云资源池的带外网管系统采用两层架构的管理系统：接入层采用ACS（Advanced Console Server）控制台服务器提供对网元设备Console端口的IP连接；管理层采用集中管理软件提供带外管理的平台服务，为所有联网的软硬件设备提供一套安全、集中的管理解决方案：

（1）基于管理平台支撑与服务人员可以通过基于浏览器的安全管理界面对各个网元设备进行配置、检测和恢复操作；

（2）管理平台允许按照设备组或者用户组设置访问权限与操作权限，从而以简单的形式反映支撑与服务程序中的责任分工。

带外网管系统主要由ACS控制台设备和集中管控服务器组成，各网元功能概述如下：

（1）ACS控制台设备：连接网络设备、存储设备和小型机的Console口，通过IP网络访问控制台设备，可以直接进入被管理设备的控制接口；

（2）集中管控服务器：对链路传递来的网管信息进行处理和展示，是带外网管统一管理系统的核心。

网络总体建设方案

本工程各个AZ节点网络建设方案采用spine-leaf大二层组网架构​​​​​​​

S-Leaf层

1）计算/存储/管理

Leaf交换机双机 MLAG 部署，上行与两台 spine 通过直连接口建立 EBGP 邻居关系，多条上行链路间是 ECMP 负载均衡，上行接口为路由接口模式。

Leaf 下行连接宿主机、管理型服务器、存储型服务器。下行链路聚合对接服务器

bond/mode4 模式，内网对应服务器bond1；外网对应服务器bond2；采用二层接口，其中，计算/存储节点交换机配置 access模式，管理/文件存储节点交换机配置 trunk模式。Leaf上配置对应业务 vlan 的 vlan-interface，两台 leaf 配置下联服务器 vtep 地址的 vrrp 双活网关（地址为每段最后一个可用地址），网关配置相同的 ip 和 MAC 地址，mac 采用 ip 较小的那台设备的 mac。

业务平面	双活网关（地址为每段最后一个可用地址）
计算内	Vlanif301（存储服务器节点不配置）
存储外	Vlanif300
存储内	Vlanif302（仅存储服务器配置）
裸机部署	Vlanif309
公网转发网	Vlanif200（只在管理节点配置）

2）弹性裸金属节点（弹性裸金属+弹性裸金属存储网关）

两台 leaf 交换机 MLAG 部署，弹性裸金属为主机 overlay，vtep 地址位于弹性裸金属的内网口。Leaf交换机不需要配置 overlay。Underlay 网络，Leaf 上行与四台 Spine 建立 EBGP 邻居，多条链路 ECMP 负载均衡。

Leaf 下行到弹性裸金属，接口为二层，内外联口配置 trunk 模式。弹性裸金属PXE 装机通过外联口获取 DHCP，外联口上联 leaf 需配置PXE装机网的网关，并配置 DHCP relay，目的地址为裸机中控 DHCP server 地址。

Leaf 下行到弹性裸金属存储网关，接口为二层 access 模式，配置 lacp 对接服务器 bond mode4 模式。

Leaf交换机需要配置给控制器发送链路聚合 TLV 和管理地址 TLV，以便控制器纳管和配置下发。

业务平面	双活网关（地址为每段最后一个可用地址）
计算内	Vlanif301（作为预留）
存储外	Vlanif300
裸机部署	Vlanif309（配置 DHCP relay）
弹性裸金属存储转发网	Vlanif303（只在本 leaf 有效，不对外发布）

  3）网元/对象/文件存储网关节点

网元/对象/文件存储网关节点部署两组 leaf 交换机，一组内网交换机，一组外网交换机。一组内网交换机双机 MLAG 部署，Underlay 网络，上行和四台 spine 建立 EBGP 邻居，多条链路 ECMP 负载均衡；一组外网交换机双机 MLAG 部署，上行和四台 spine 建立 EBGP 邻居关系。内网交换机下行连接网元服务器的内网口。外网交换机连接网元服务器外网口。内网和外网交换机下行配置 trunk 口，对接服务器 mode2 模式。服务器bond1接内网交换机，bond2接外网交换机。配置对应业务 vlan 的vlan interface 作为服务器 vtep 的双活网关，双活网关配置相同的 ip 和 mac。

业务平面	内网S-leaf	外网S-leaf
计算内	Vlanif301（双活网关）	NA
存储外	Vlanif300（双活网关）	NA
网元外	NA	Vlanif200（双活网关）

对于网元节点服务器需要和 service-leaf 建立 EBGP 且不单独区分协议互联的情况，复用数据口互联。

网元节点两台 leaf 通过横连建立 IBGP，作为逃生链路。

网元 service-leaf 上，公网和内网平面对服务器侧出方向均配置策略， leaf 不对网元服务器通告任何路由（全 deny）。

网元 service-leaf 上，内网平面对服务器侧入方向配置策略，只接收服务器发

布的 10.和 100.段的路由（permit 特定网段）；公网平面对服务器侧入方向配置策略，拒绝接收服务器发布的 10.和 100.段路由（deny 特定网段）。

​​​​​​​Spine层

一个AZ内采用2台交换机独立组网，与各个分区 Leaf 交换机 ECMP 互联，Spine 之间无横向链路，Spine和Leaf 、B-leaf（Internet平面） ，DCI-leaf（pubilc平面）之间建立EBGP ， Spine 对下行S-leaf出方向配置策略替换 AS 号为自己的 AS，规避 AS-path防环机制，同时，Spine 针对 leaf 发来的路由不做 AS-path 环路检测，否则会与 AS-path 替换策略冲突。其中，内网平面将 AS 替换为 Spine 自身 AS 号并且长度加 1；公网平面如果匹配本 POD 下服务器层 AS 号将不做替换，其它替换。

​​​​​​​B-leaf层

每个AZ中 2台B-leaf单机部署，每台 B-Leaf 上联两台 SR 出口路由器和POP接入交换机。2台业务防火墙独立部署，旁挂部署于2台 B-leaf ，业务防火墙支持 session 同步，对南北向流量进行策略流量清洗。 B-Leaf 与Spine之间建立 EBGP ，和上行 SR 采用 EBGP 对接，接收 SR 下发的缺省路由。

B-leaf下行使用pubic和业务防火墙建立IBGP关系；上行使用Internet和业务防火墙建立EBGP关系。业务防火墙通过修改本地优先级和MED值影响选路，使网络访问流量上下行都经过其中一台防火墙。

POP堆叠接入B-leaf，POP 和 bleaf 之间多链路互联配置链路聚合， POP 侧采用二层接口 trunk 301 vlan，B-leaf 侧采用子接口终结 vlan 301，POP 配置到 region 级计算内 301 网段的静态路由，到不同 bleaf 配置多个下一跳负载，Bleaf 侧通过 EBGP 重分布该段地址。

B-leaf和安全接入建立EBGP关系，安全接入堆叠部署接入B-leaf。安全接入通过EBGP接收SR下发的缺省路由。

​​​​​​​DCI-leaf层

每个 AZ 两台 DCI-leaf 独立部署，三个AZ之间通过DCI链路建立IBGP关系，传递业务路由。同 AZ 两台 DCI-leaf 间复用横连建立 IBGP 邻居。DCI-leaf负责完成同 AZ 不同 Cluster 之间通信，及不同 AZ不同Cluster业务流量通信。2台互联防火墙独立部署，旁挂部署于2台 B-leaf ，互联防火墙支持 session 同步，对AZ内东西向流量和不同AZ之间的Cluster流量进行策略清洗。

DCI-leaf下行使用pubic平面和互联防火墙建立IBGP关系；上行使用DCI平面和互联防火墙建立EBGP关系。业务防火墙通过修改本地优先级和MED值影响选路，使网络访问流量上下行都经过其中一台防火墙。

AZ1、AZ2中，DCI-leaf过滤来自AZ3的公网路由与默认路由；在AZ3中，DCI-Leaf过滤来自AZ1、AZ2的公网路由与默认路由。

AZ1中，接收来自AZ2的默认路由及公网路由，使用AS path属性调整默认路由、确保该路由为备用路由；在AZ2中，接收来自AZ1的默认路由及公网路由，使用AS path属性调整默认路由、确保该路由为备用路由。

​​​​​​​SR出口层

每个AZ部署2台出口路由器，单机部署。路由器之间建立IBGP关系，作为逃生路由。SR与B-leaf建立 EBGP邻居，串接透明部署IPS以及抗DDOS对进出资源池流量进行清洗。SR和运营商之间建立EBGP关系，从运营商收到的路由不能从另一台出口路由器通告给运营商，SR使用BGP团体属性过滤路由。SR需和三家运营商建立EBGP关系，region之间公网流量不互为主备，发布不同公网段；region内不同AZ公网流量互为冗余，每个AZ发布主优、和次优公网段，使用路由策略修改MED值影响运营商选路。

SR需将公网流量镜像至分流交换机，分流交换机再将流量镜像给流量探针，由流量探针发给态势感知进行流量分析。

​​​​​​​管理网络

每个AZ的汇聚交换机通过DCI链路互联，配置OSPF协议，建立骨干区域的邻居关系。传递不同AZ之间的管理流量。

汇聚交换机针对CTVPN1007、平台管理、零信任，终端DLP，平台资源池建立不同VPN平面。不同平面之间流量路由通过OSPF引导至防火墙实现互访。汇聚交换机和AS4809建立EBGP关系，发布内部CN21107地址段。

管理防火墙主备部署，旁挂在管理汇聚交换机，管理防火墙针对不同业务建立不同的区域，配置区域之间安全策略，控制不同区域间的流量互访。

外部管理流量须先接入零信任，从零信任登陆平台安全管理堡垒机，统一从堡垒机上完成设备管理。堡垒机需部署终端DLP Agent，和终端DLP互通。

按需做端口镜像，将部分流量镜像至探针，由探针发给态势感知分析。