SDN-利用GoBGP和Cisco NXOSv实现VXLAN EVPN
1. 什么是 GoBGP？
GoBGP 是使用 Go 语言开发的，运行在 Linux 系统上的开源工具，可以提供 BGP 协议的控制平面功能。与 Quagga/FRRouting 相比，GoBGP 的性能更好，收敛时间更短，可以适用于更大规模的网络，比如充当 IXP 路由器：
[图1. GoBGP Performance]
GoBGP 仅支持 BGP 这一种路由协议，但是它可以和 Zebra 集成，通过 API 的方式与 Quagga/FRR 协同工作，以支持多种路由协议。
[图2. GoBGP Architecture]
可以使用 Python、C++ 等多种语言，通过 gRPC API 对 GoBGP 进行配置，当然也支持 CLI。GoBGP 还支持 OpenConfig，其 YANG 模型符合 draft-ietf-idr-bgp-model-03。
因为 GoBGP 可以很方便地人工干涉路由，参与感更强，是一个很好的实验工具。本文就利用 GoBGP 和 Cisco NXOSv 搭建实验环境，来学习 VXLAN EVPN 的一些原理。
2. 安装 GoBGP
GoBGP 的安装非常简单，从 https://github.com/osrg/gobgp/releases 下载 tar.gz 文件，解压即可。在元旦之前，GoBGP 刚刚 Release 了 v2.0.0。
Java
| 1 |
$ tar -xzf gobgp_2.0.0_linux_amd64.tar.gz |
解压之后可以看到 2 个可执行文件：gobgp 和 gobgpd。其中 gobgp 是 gRPC 的 CLI client 工具，gobgpd 是 GoBGP 主程序。
Java
| 1 2 3 4 5 6 7 |
$ ls -l total 40740 -rwxrwxr-x. 1 chengc2 chengc2 14386512 Dec 30 05:17 gobgp -rw-rw-r--. 1 chengc2 chengc2 11299444 Jan 12 23:13 gobgp_2.0.0_linux_amd64.tar.gz -rwxrwxr-x. 1 chengc2 chengc2 16005264 Dec 30 05:18 gobgpd -rw-rw-r--. 1 chengc2 chengc2 11324 Jun 8 2017 LICENSE -rw-rw-r--. 1 chengc2 chengc2 2412 Dec 24 01:14 README.md |
如果使用源代码方式安装，可以获取最新的 master branch，但是要复杂一些。
首先安装 Golang。从 https://golang.org/dl 下载 binary release，需要 1.11 或更高版本，解压到 /usr/local 目录：
Java
| 1 |
$ sudo tar -C /usr/local -xzf go1.11.4.linux-amd64.tar.gz |
然后设置环境变量：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
# Ubuntu修改$HOME/.profile $ sudo vi $HOME/.profile
# CentOS修改/etc/profile $ sudo vi /etc/profile
# 在profile文件底部增加2行： export GOPATH=$HOME/go export PATH=$PATH:/usr/local/go/bin
$ mkdir $HOME/go
# Ubuntu使profile立即生效： $ source $HOME/.profile
# CentOS使profile立即生效： $ source /etc/profile |
最后 go get 两个 binary 文件：
Java
| 1 2 |
$ go get github.com/osrg/gobgp/gobgp $ go get github.com/osrg/gobgp/gobgpd |
如果无法直接访问境外的服务器，源代码安装很容易失败。所以还是建议使用 binary release。
3. 准备 Cisco 网络环境
在继续实验之前，先按照下面的拓扑准备好 Cisco 的网络环境。本次实验采用 iBGP，仅配置 l2 e address-family。
[图3. Topology]
3.1 R1-Spine 设备配置
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 |
# 开启相关feature nv overlay e feature ospf feature bgp feature pim feature vn-segment-vlan-based feature nv overlay
# 配置Rendezvous Point ip pim rp-address 10.0.10.1 group-list 224.0.0.0/4 ip pim ssm range 232.0.0.0/8
interface Ethernet1/1 description to R2 mtu 9000 # ESXi Standard Switch的MTU最大9000 mac-address 000c.2915.3243 # NXOSv需要手工配置L3接口MAC ip address 10.12.0.1/24 ip ospf network point-to-point ip router ospf 1 area 0.0.0.0 ip pim sparse-mode no shutdown
interface Ethernet1/2 description to R3 mtu 9000 mac-address 000c.2915.3244 ip address 10.13.0.1/24 ip ospf network point-to-point ip router ospf 1 area 0.0.0.0 ip pim sparse-mode no shutdown
interface Ethernet1/4 description to H5-GoBGP mtu 9000 mac-address 000c.2915.3246 ip address 10.15.0.1/24 ip router ospf 1 area 0.0.0.0 ip pim sparse-mode no shutdown
interface loopback0 ip address 10.0.0.1/32 ip router ospf 1 area 0.0.0.0 ip pim sparse-mode
interface loopback10 description PIM-RP # 也可以用Loopback0作为RP ip address 10.0.10.1/32 ip router ospf 1 area 0.0.0.0 ip pim sparse-mode
router ospf 1 router-id 10.0.0.1 router bgp 65000 router-id 10.0.0.1 template peer LEAF # 配置peer模板 remote-as 65000 update-source loopback0 address-family l2 e # 本次实验不需要配置 IPv4 AF send-community send-community extended route-reflector-client # 启用RR neighbor 10.0.0.2 inherit peer LEAF # 让peer继承模板 neighbor 10.0.0.3 inherit peer LEAF neighbor 10.15.0.100 inherit peer LEAF |
3.2 R2-VTEP & R3-VTEP 设备配置
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 |
nv overlay e feature ospf feature bgp feature pim feature interface-vlan feature vn-segment-vlan-based feature nv overlay
fabric forwarding anycast-gateway-mac 0001.0001.0001 # 为Anycast GW配置MAC地址 ip pim rp-address 10.0.10.1 group-list 224.0.0.0/4 ip pim ssm range 232.0.0.0/8 vlan 1,200,300,999 # 本次实验为R3-VTEP配置3个不同的VLAN：vlan 1,288,388,888 vlan 200 # R3-VTEP为vlan 288 name L2-VNI-50200-Tenant1 vn-segment 50200 # 将VNI和VLAN绑定 vlan 300 # R3-VTEP为vlan 388 name L2-VNI-50300-Tenant1 vn-segment 50300 vlan 999 # R3-VTEP为vlan 888 name L3-VNI-50999-Tenant1 vn-segment 50999
#因为GoBGP+Cisco异构部署，且需要人工发布路由，所以本次测试采用静态RD和RT vrf context Tenant1 vni 50999 rd 50999:1 address-family ipv4 unicast route-target import 50999:1 route-target import 50999:1 e route-target export 50999:1 route-target export 50999:1 e
interface Vlan200 # R3-VTEP为vlan 288 no shutdown vrf member Tenant1 ip address 172.16.2.1/24 fabric forwarding mode anycast-gateway
interface Vlan300 # R3-VTEP为vlan 388 no shutdown vrf member Tenant1 ip address 172.16.3.1/24 fabric forwarding mode anycast-gateway
interface Vlan999 # R3-VTEP为vlan 888 no shutdown vrf member Tenant1 ip forward
interface nve1 no shutdown host-reachability protocol bgp source-interface loopback0 member vni 50200 mcast-group 239.0.0.1 member vni 50300 mcast-group 239.0.0.1 member vni 50999 associate-vrf
interface Ethernet1/1 description to R1 mtu 9000 mac-address 000c.2964.0299 # R3-VTEP配置：mac-address 000c.29c7.522e ip address 10.12.0.2/24 # R3-VTEP配置：ip address 10.13.0.3/24 ip ospf network point-to-point ip router ospf 1 area 0.0.0.0 ip pim sparse-mode no shutdown
interface Ethernet1/2 switchport switchport access vlan 200 # R3-VTEP配置：switchport access vlan 388 no shutdown
interface Ethernet1/3 # R3-VTEP没有配置这个接口 switchport switchport access vlan 300 no shutdown
interface loopback0 ip address 10.0.0.2/32 # R3-VTEP配置：ip address 10.0.0.3/32 ip router ospf 1 area 0.0.0.0 ip pim sparse-mode
router ospf 1 router-id 10.0.0.2 # R3-VTEP配置：router-id 10.0.0.3 router bgp 65000 router-id 10.0.0.2 # R3-VTEP配置：router-id 10.0.0.3 neighbor 10.0.0.1 remote-as 65000 update-source loopback0 address-family l2 e send-community send-community extended vrf Tenant1 address-family ipv4 unicast advertise l2 e
#因为GoBGP+Cisco异构部署，且需要人工发布路由，所以本次测试采用静态RD和RT e vni 50200 l2 rd 50200:1 route-target import 50200:1 route-target export 50200:1 vni 50300 l2 rd 50300:1 route-target import 50300:1 route-target export 50300:1 |
然后用 3 个 Puppy Linux 分别作为 H1，H2 和 H3。从 H2 ping H3，可以 ping 通：
[图4. H2_ping_H3]
从 H1 ping H3 和 H2，也都可以 ping 通：
[图5. H1_ping_H3&H2]
4. Symmetric IRB
您应该注意到了，虽然我为 2 个 VTEP R2 和 R3 配置了相同的 L2VNI 和 L3VNI，但是我为它们配置了不同的 VLAN ID。R2 的 3 个 VLAN ID 分别为 200、300、999，而 R3 的 3 个 VLAN ID 分别为 288、388、888。这并不影响 VXLAN 网络的连通性，3 台 Host 都可以互相 ping 通。
draft-ietf-bess-e-inter-subnet-forwarding 定义了 2 种 IRB 操作模型，Asymmetric IRB 和 Symmetric IRB，Cisco Nexus 采用的是后一种。在 Symmetric IRB 模型中，Tenant System 1 的流量抵达 Ingress VTEP 之后，先在 Bridge Table 查找 ARP，然后进入 IP-VRF 查找路由表，再封装 L3VNI 传递给 Egress VTEP。流量抵达 Egress VTEP，解封装 L3VNI，在 IP-VRF 查找路由表，然后在 Bridge Table 查找 ARP，最后发给本地的 Tenant System。下图是流量的传输路径：
图6. Symmetric IRB
现在我们检查一下 VTEP 的 ARP 表：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
R2-VTEP# show ip arp vrf Tenant1
...(snip)
IP ARP Table for context Tenant1 Total number of entries: 2 Address Age MAC Address Interface Flags 172.16.3.20 00:00:48 000c.2996.007a Vlan300 172.16.2.10 00:00:27 000c.298c.0cfa Vlan200
R3-VTEP# show ip arp vrf Tenant1
...(snip)
IP ARP Table for context Tenant1 Total number of entries: 1 Address Age MAC Address Interface Flags 172.16.3.10 00:00:48 000c.2936.0159 Vlan388 |
在 ARP 表里面有 VLAN ID 的信息，H1 和 H3 虽然位于相同的子网，但是在 R2 和 R3 的 ARP 表中，VLAN ID 并不相同。这并没有关系，因为 ARP 表是本地有效的。
再检查一下 VTEP 的 Bridge 表，请注意第 2 条 entry，这是 H3 的 Bridge 信息。Topology 是本地的 VLAN ID，采用的协议是 BGP 而不是 Local，下一跳是 R3-VTEP 的 IP 而不是本地的接口。这意味着 Intra-Subnet 的流量如果需要跨越不同的 VTEP，也要通过 EVPN 路由。只不过这不涉及到 Symmetric IRB Model，封装的 VNI 是 L2VNI。
Java
| 1 2 3 4 5 6 7 8 9 10 11 |
R2-VTEP# show l2route e mac all
...(snip)
Topology Mac Address Prod Flags Seq No Next-Hops ----------- -------------- ------ ------------- ---------- ---------------- 200 000c.298c.0cfa Local L, 0 Eth1/2 300 000c.2936.0159 BGP SplRcv 0 10.0.0.3 300 000c.2996.007a Local L, 0 Eth1/3 999 000c.298d.eb0a VXLAN Rmac 0 10.15.0.100 999 000c.29c7.522d VXLAN Rmac 0 10.0.0.3 |
再检查一下 VTEP 的路由表：
Java
| 1 2 3 4 5 6 7 8 9 10 |
R2-VTEP(config-if)# show ip route vrf Tenant1
...(snip)
172.16.3.10/32, ubest/mbest: 1/0 *via 10.0.0.3%default, [200/0], 01:13:54, bgp-65000, internal, tag 65000 (ev pn) segid: 50999 tunnelid: 0xa000003 encap: VXLAN 172.16.3.20/32, ubest/mbest: 1/0, attached *via 172.16.3.20, Vlan300, [190/0], 00:31:39, hmm |
请注意 172.16.3.10/32 这条路由，下一跳是 R3-VTEP，vn-segment（segid）是 50999。如果是 Inter-Subnet 的流量跨越不同的 VTEP，需要通过 EVPN 路由并符合 Symmetric IRB 模型，封装 L3VNI。
无论是 Intra-Subnet 还是 Inter-Subnet，VLAN ID 都是本地有效的。所以在配置 Cisco Nexus 交换机的时候，每一台 VTEP 都可以单独规划 VLAN ID 和 VNI 和 VRF 的 mapping 关系 —— 虽然在 Cisco Nexus 交换机的配置文件中，VNI 必须配置在 VLAN 下面，但这并不意味着整个 Fabric 的 VNI 数量就受限于 VLAN ID 的数量。
5. GoBGP 和 NXOSv 建立 BGP EVPN Neighbor
GoBGP 可以通过 CLI 来建立 Neighbor，也可以采用配置文件的方式。我们先来创建一个名称为 gobgpd.conf 的配置文件：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 |
[global.config] as = 65000 router-id = "10.0.0.5"
[[neighbors]] [neighbors.config] neighbor-address = "10.0.0.1" peer-as = 65000 [[neighbors.afi-safis]] [neighbors.afi-safis.config] afi-safi-name = "l2-e" [neighbors.transport.config] local-address = "10.15.0.100" |
其中 10.15.0.100 是 H5 的 lo 接口地址。如果不采用 Loopback 接口建立 Neighbor，则不需要在配置文件中写入 neighbors.transport.config 字段。
然后启动 gobgpd，同时开启 debug：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
$ sudo ./gobgpd -f gobgpd.conf -l debug -p INFO[0000] gobgpd started INFO[0000] Finished reading the config file Topic=Config INFO[0000] Peer 10.0.0.1 is added INFO[0000] Add a peer configuration for:10.0.0.1 Topic=Peer DEBU[0000] IdleHoldTimer expired Duration=0 Key=10.0.0.1 Topic=Peer DEBU[0000] state changed Key=10.0.0.1 Topic=Peer new=BGP_FSM_ACTIVE old=BGP_FSM_IDLE reason=idle-hold-timer-expired DEBU[0010] state changed Key=10.0.0.1 Topic=Peer new=BGP_FSM_OPENSENT old=BGP_FSM_ACTIVE reason=new-connection DEBU[0010] state changed Key=10.0.0.1 Topic=Peer new=BGP_FSM_OPENCONFIRM old=BGP_FSM_OPENSENT reason=open-msg-received INFO[0010] Peer Up Key=10.0.0.1 State=BGP_FSM_OPENCONFIRM Topic=Peer DEBU[0010] state changed Key=10.0.0.1 Topic=Peer new=BGP_FSM_ESTABLISHED old=BGP_FSM_OPENCONFIRM reason=open-msg-negotiated DEBU[0011] received update
...(snip)
# GoBGP会自动发送keepalive： DEBU[0190] sent Key=10.0.0.1 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x12abc40}"
...(snip) |
在 R1-Spine 可以观察到 Neighbor 已经 Up：
Java
| 1 2 3 4 5 6 7 8 |
R1-Spine# show bgp l2 e sum
...(snip)
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 10.0.0.2 4 65000 556 465 331 0 0 06:42:22 4 10.0.0.3 4 65000 533 476 331 0 0 06:42:17 2 10.15.0.100 4 65000 283 312 331 0 0 01:24:19 0 |
新开一个 SSH 窗口，使用./gobgp neighbor 可以观察到 R1-Spine 已成为邻居并且状态是 Up：
Java
| 1 2 3 |
$ ./gobgp nei Peer AS Up/Down State |#Received Accepted 10.0.0.1 65000 00:52:58 Establ | 6 6 |
使用 ./gobgp global rib -a e 命令可以观察到 GoBGP 收到了 NXOS 发来的完整的 EVPN 路由表。
请注意：不能用 Ctrl+C 终止 gobgpd 的屏幕输出，否则进程也会终止。NXOS 会观察到 Neighbor 状态变为 Idle，运行 gobgp 之后会提示 gRPC error：
Java
| 1 2 |
$ ./gobgp global rib failed to connect to 127.0.0.1:50051 over gRPC: context deadline exceeded |
6. Route-Type 2: MAC/IP Advertisement Route
接下来我们利用 GoBGP 向 NXOS 发送 RT-2 路由更新。RT-2 路由的作用是向 Fabric 通告 MAC/IP 的位置。根据 RFC-7432，RT-2 的 NLRI 格式如下：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
+---------------------------------------+ | RD (8 octets) | +---------------------------------------+ |Ethernet Segment Identifier (10 octets)| +---------------------------------------+ | Ethernet Tag ID (4 octets) | +---------------------------------------+ | MAC Address Length (1 octet) | +---------------------------------------+ | MAC Address (6 octets) | +---------------------------------------+ | IP Address Length (1 octet) | +---------------------------------------+ | IP Address (0, 4, or 16 octets) | +---------------------------------------+ | MPLS Label1 (3 octets) | +---------------------------------------+ | MPLS Label2 (0 or 3 octets) | +---------------------------------------+ |
在 VXLAN 场景，MPLS Label 就是 VNI，第 1 个是 L2VNI，第 2 个是 L3VNI。GoBGP 发送 RT-2 的命令格式为：
Java
| 1 |
$ gobgp global rib -a e add macadv |
其中 ESI 和 Etag 的 Value 应该是什么呢？我们先来看看 NXOS 向邻居通告的路由信息是怎样的：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
R2-VTEP# show bgp l2 e neighbors 10.0.0.1 advertised-routes
...(snip)
Network Next Hop Metric LocPrf Weight Path Route Distinguisher: 50200:1 (L2VNI 50200) *>l[2]:[0]:[0]:[48]:[000c.298c.0cfa]:[0]:[0.0.0.0]/216 10.0.0.2 100 32768 i *>l[2]:[0]:[0]:[48]:[000c.298c.0cfa]:[32]:[172.16.2.10]/272 10.0.0.2 100 32768 i
Route Distinguisher: 50300:1 (L2VNI 50300) *>l[2]:[0]:[0]:[48]:[000c.2996.007a]:[0]:[0.0.0.0]/216 10.0.0.2 100 32768 i *>l[2]:[0]:[0]:[48]:[000c.2996.007a]:[32]:[172.16.3.20]/272 10.0.0.2 100 32768 i
Route Distinguisher: 50999:1 (L3VNI 50999) |
R2-VTEP 连接了 2 个 Host，H1 和 H2，分别位于 2
个不同的 Subnet，对应 2 个不同的 L2VNI。它为每个 Host 向每个 L2 RD 通告了 2 条路由：一条通告 MAC，用于 Bridging；另外一条通告 MAC/IP，用于 Routing。然后我们再观察每个 MAC 对应的路由详细内容：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
R2-VTEP# show bgp l2 e 000c.298c.0cfa BGP routing table information for VRF default, address family L2VPN EVPN Route Distinguisher: 50200:1 (L2VNI 50200) BGP routing table entry for [2]:[0]:[0]:[48]:[000c.298c.0cfa]:[0]:[0.0.0.0]/216, version 301 Paths: (1 available, best #1) Flags: (0x000102) (high32 00000000) on xmit-list, is not in l2rib/e Multipath: iBGP
Advertised path-id 1 Path type: local, path is valid, is best path AS-Path: NONE, path locally originated 10.0.0.2 (metric 0) from 0.0.0.0 (10.0.0.2) Origin IGP, MED not set, localpref 100, weight 32768 Received label 50200 Extcommunity: RT:50200:1 ENCAP:8
Path-id 1 advertised to peers: 10.0.0.1 BGP routing table entry for [2]:[0]:[0]:[48]:[000c.298c.0cfa]:[32]:[172.16.2.10] /272, version 90 Paths: (1 available, best #1) Flags: (0x000102) (high32 00000000) on xmit-list, is not in l2rib/e Multipath: iBGP
Advertised path-id 1 Path type: local, path is valid, is best path AS-Path: NONE, path locally originated 10.0.0.2 (metric 0) from 0.0.0.0 (10.0.0.2) Origin IGP, MED not set, localpref 100, weight 32768 Received label 50200 50999 Extcommunity: RT:50200:1 RT:50999:1 ENCAP:8 Router MAC:000c.2964.0298
Path-id 1 advertised to peers: 10.0.0.1 |
用于 Bridging 的路由仅携带了 L2VNI 和 MAC VRF 的 RT，而用于 Routing 的路由则同时携带了 L2VNI、 L3VNI 以及 MAC VRF 和 IP VRF 的 RT，还有 NVE Tunnel 接口的 MAC。在路由信息中， [2]:[0]:[0]:[48] 的含义是：
- [2] ：Route Type 2
- 第 1 个 [0] ：Ethernet Segment Identifier
- 第 2 个 [0] ：Ethernet Tag ID
- [48] ：MAC 地址长度
从上面的 show 结果，我们可以知道正常的 RT-2 路由都应该包括哪些内容。我们先使用 GoBGP 向 Fabric 通告一个并不存在 Host（GoBGP 不支持将直连网段重分布到 BGP。需要安装 Quagga/FRR 然后通过 Zebra API 才能将直连路由或其他协议的路由重分布到 BGP），MAC 地址为 aa:bb:cc:dd:ee:ff，IP 地址为 172.16.2.20，和 H2 属于同一个子网：
Java
| 1 2 3 4 |
# 通告 MAC $ ./gobgp global rib -a e add macadv aa:bb:cc:dd:ee:ff 0.0.0.0 esi 0 etag 0 label 50200 rd 50200:1 rt 50200:1 encap vxlan # 通告 MAC/IP $ ./gobgp global rib -a e add macadv aa:bb:cc:dd:ee:ff 172.16.2.20 esi 0 etag 0 label 50200,50999 rd 50200:1 rt 50200:1 50999:1 encap vxlan router-mac 000c.298d.eb0a |
在 R2-VTEP 上可以观察到已经收到这 2 条 RT-2 路由并加表：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
R2-VTEP# show bgp l2 e
...(snip)
Route Distinguisher: 50200:1 (L2VNI 50200) *>l[2]:[0]:[0]:[48]:[000c.298c.0cfa]:[0]:[0.0.0.0]/216 10.0.0.2 100 32768 i *>i[2]:[0]:[0]:[48]:[aabb.ccdd.eeff]:[0]:[0.0.0.0]/216 10.15.0.100 100 0 ? *>l[2]:[0]:[0]:[48]:[000c.298c.0cfa]:[32]:[172.16.2.10]/272 10.0.0.2 100 32768 i *>i[2]:[0]:[0]:[48]:[aabb.ccdd.eeff]:[32]:[172.16.2.20]/272 10.15.0.100 100 0 ? ...(snip)
R2-VTEP# show ip route vrf Tenant1 ...(snip)
172.16.2.20/32, ubest/mbest: 1/0 *via 10.15.0.100%default, [200/0], 00:11:28, bgp-65000, internal, tag 65000 (e) segid: 50999 tunnelid: 0xa0f0064 encap: VXLAN
...(snip) |
并且 R2-VTEP 已经和 H5-GoBGP 成功建立了 NVE Peer：
Java
| 1 2 3 4 5 |
R2-VTEP# show nve peers Interface Peer-IP State LearnType Uptime Router-Mac --------- --------------- ----- --------- -------- ----------------- nve1 10.0.0.3 Up CP 03:15:43 000c.29c7.522d nve1 10.15.0.100 Up CP 00:17:50 000c.298d.eb0a |
6.1 ARP 报文传输路径
在 H2 上 ping 相同子网的 172.16.2.20，然后在 ESXi 上抓取 H2 的流量，发现 H2 发送 ARP 请求 172.16.2.20 的 MAC，但一直没有收到 ARP Response。在 H5 上抓包，发现并没有抓取到 ICMP 或 ARP 报文。
但是在 H3 上 ping 不同子网的 172.16.2.20，却可以在 H5 上抓取到 ICMP 报文。从下面的截图可以看到 ICMP 报文有 VXLAN 的报头，目的 VTEP IP 是 10.15.0.100，因为是 Inter-Subnet 的流量，所以封装的 VNI 是 L3VNI 50999。然后 H5 向 R3 回应了 ICMP 不可达：
[图7. H3_ICMP]
这是因为在 H3 在请求 172.16.2.20 的 MAC 的时候，Anycast Gateway R3 会将自己的 MAC 回应给 H3，也就是 fabric forwarding anycast-gateway-mac 0001.0001.0001 所配置的 MAC 地址：
[图8. AnycastGW-ARP-Response]
而 H2 所请求的是相同子网的 MAC，虽然在 R2-VTEP 上存在去往 172.16.2.20 的 EVPN 路由，但为了处理 BUM 流量，例如 ARP，R2-VTEP 需要将 ARP Request 用 VXLAN 封装之后发往组播地址，本实验我们所配置的组播地址是 239.0.0.1。其他 VTEP 收到 ARP Request 之后会解封装并检查所请求的地址是否在本地，如果不在本地则丢弃，如果在本地就发给目的主机，然后由目的主机单播回复 ARP Response。
H5-GoBGP 并没有办法像 NXOS 那样为 L2VNI 指定一个组播地址加入组播组，所以它无法收到 ARP。我们采用一个变通的办法，在 R1-Spine 上将连接 H5-GoBGP 的接口加入到组播组：
Java
| 1 2 3 |
interface Ethernet1/4 description to H5-GoBGP ip igmp join-group 239.0.0.1 |
然后在 H2 上 ping 172.16.2.20，就可以在 H5 上抓到 ARP Request 报文了：
[图9. ARP-Request]
在上面的截图我们可以看到 VXLAN Outer 目的 IP 是 239.0.0.1。因为是 Intra-Subnet 的流量，所以封装的 VNI 是 L2VNI 50200。
当然也可以改用 BGP 而不使用组播的方式来复制 BUM，需要更改 int nve1 的配置：
Java
| 1 2 3 4 5 6 |
interface nve1 no shutdown host-reachability protocol bgp source-interface loopback0 member vni 50200 ingress-replication protocol bgp |
在没有组播的情况下，就需要另外一种路由： Route Type 3 —— Inclusive Multicast Ethernet Tag route。每台 VTEP 需要先向所有相关的 MAC VRF RD 通告 RT-3，告诉其他 VTEP 应该把 BUM 复制到哪里，然后再按照上文介绍的流程通告 RT-2。
RT-3 NLRI 的格式如下：
Java
| 1 2 3 4 5 6 7 8 9 10 |
+---------------------------------------+ | RD (8 octets) | +---------------------------------------+ | Ethernet Tag ID (4 octets) | +---------------------------------------+ | IP Address Length (1 octet) | +---------------------------------------+ | Originating Router's IP Address | | (4 or 16 octets) | +---------------------------------------+ |
同时，BGP Extended Communities 必须要携带 RFC 6514 所定义的 Provider Multicast Service Interface (PMSI) Tunnel 属性，以实现这种 Point-to-Multipoint 的复制。PMSI BGP 属性的格式如下：
Java
| 1 2 3 4 5 6 7 8 9 |
+---------------------------------+ | Flags (1 octet) | +---------------------------------+ | Tunnel Type (1 octets) | +---------------------------------+ | MPLS Label (3 octets) | +---------------------------------+ | Tunnel Identifier (variable) | +---------------------------------+ |
其中 Flags 只定义了一种：Leaf Information Required (L)。在 VXLAN EVPN 的场景，Tunnel Type 的值是 6，表示这是 Ingress Replication。剩下 2 个字段就比较好理解了，分别是 VNI 和本地 NVE 接口的 IP 地址。
GoBGP 通告 RT-3 的 CLI 格式为：
Java
| 1 |
$ gobgp global rib -a e add multicast |
其中 gobgp global rib -a e 来看看 Cisco NXOSv 发给 GoBGP 的 RT-3 更新，比较一下 ip address 和 tunnel-id ：
[图9-2. GoBGP-RT-2]
在上面的截图中，我们也可以看到 pmsi type 是 ingress-repl。
需要注意的是，GoBGP v1.3.3 在通告 RT-3 的时候会提示 runtime error，建议大家使用 v2.0.0 版本。
现在我们再回过头来看看 Ethernet Segment Identifier 和 Ethernet Tag ID。
6.2 Ethernet Segment Identifier
我们知道数据中心为了给服务器提供链路冗余，通常会采用 2 台 Leaf 堆叠的方式。但堆叠之后交换机升级会影响业务连续性，而且有可能会出现一些奇葩的问题。RFC-7432 提供了一种去堆叠的方式：EVPN multi-homing。
[图10. EVPN_multihoming]
在 EVPN multi-homing 的场景，服务器正常 bonding 2 条 uplink，但 VTEP-1 和 VTEP-2 之间并没有 peer-link，需要通过 EVPN Fabric 来交换信息。它们交换的就是 ESI 和 Etag。ESI 配置在每条 bundled link 上，如果相同 Domain 的 VTEP 有相同的 ESI，它们就会共享 multihomed neighbor。这种场景需要用到 Route Type 1 Auto-Discovery 路由。
本实验的服务器都采用单挂，single-homing，所以 ESI 为 0。
除了采用 ESI 来实现 multi-homing 之外，以阿里为代表的国内互联网公司正在使用另外一种去堆叠方式，Cisco 对应的技术是 VPC-less，即 VPC without peering link。
6.3 Ethernet Tag ID
Etag 的作用是在 EVPN Instance 中标识一个特定的广播域（Bridge Table）。一个 EVPN Instance 就是一个 MAC-VRF，包含 1 个或多个 Bridge Table，这些 BT 共享相同的 Route Target。
在 Asymmetric IRB 模型中，1 个 MAC-VRF/EVI 会包含多个 BT。但是在 Symmetric IRB 操作模型中，1 个 MAC-VRF 仅包含 1 个 BT，是 1:1 的 mapping 关系，请看下面的 NXOS 相关配置：
Java
| 1 2 3 4 5 6 7 8 9 |
vlan 200 name L2-VNI-50200-Tenant1 vn-segment 50200
e vni 50200 l2 rd 50200:1 route-target import 50200:1 route-target export 50200:1 |
所以在 Symmetric IRB 模型中，Etag 必须置为 0，不需要用它来区分广播域。
7. Route-Type 5: IP Prefix Route
接下来我们让 H5 作为 EVPN Border，测试 RT-5 路由。由于 GoBGP 必须与 Quagga/FRR 的 Zebra API 集成，才能重分发外部路由到 BGP，所以这次实验我们仍然只能用 1 个虚拟的 IP 地址作为目的 IP。
GoBGP 通告 RT-5 的 CLI 格式是：
Java
| 1 |
$ ./gobgp global rib -a e add |
从上文的分析中，我们已经知道 esi 和 etag 都为 0。但是 gateway 又是怎么回事？先不管这个，我们直接在 H5 向 Fabric 通告一条 RT-5：
Java
| 1 2 3 |
$ ./gobgp global rib -a e add prefix \ > 0.0.0.0/0 etag 0 label 50999 rd 50999:1 rt 50999:1 \ > encap vxlan router-mac 000c.298d.eb0a |
在 Cisco VTEP 可以观察到已经收到了这条 RT-5 路由：
Java
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
R3-VTEP# sh bgp l2 e ...(snip)
Route Distinguisher: 50999:1 *>i[5]:[0]:[0]:[0]:[0.0.0.0]:[0.0.0.0]/224 10.15.0.100 100 0 ?
Route Distinguisher: 50999:1 (L3VNI 50999) *>i[2]:[0]:[0]:[48]:[000c.298c.0cfa]:[32]:[172.16.2.10]/272 10.0.0.2 100 0 i *>i[2]:[0]:[0]:[48]:[000c.2996.007a]:[32]:[172.16.3.20]/272 10.0.0.2 100 0 i *>i[5]:[0]:[0]:[0]:[0.0.0.0]:[0.0.0.0]/224 10.15.0.100 100 0 ?
R3-VTEP# sh ip route vrf Tenant1 ...(snip)
0.0.0.0/0, ubest/mbest: 1/0 *via 10.15.0.100%default, [200/0], 00:01:01, bgp-65000, internal, tag 65000 (e) segid: 50999 tunnelid: 0xa0f0064 encap: VXLAN
...(snip) |
在 H3 上 ping 一个路由表里不存在的地址 100.100.100.100，然后可以在 H5 上抓取到这些 ICMP 报文，RT-5 路由生效了：
[图11. RT-5_ICMP]
另外请注意 Inner MAC（我忘记用红色框出来了），这是在 RT-2 和 RT-5 路由更新中所携带的 router-mac 属性。VTEP 解封装 VXLAN 数据包之后看到 Inner MAC 是自己的 Tunnel 接口地址，就会进一步地处理报文转发。
H5-GoBGP 在通告 RT-5 路由的时候，并没有携带 [gw 参数，那么这个参数的作用是什么呢？
上文已经谈到 Cisco 采用的 Inter-Subnet 操作模型是 Symmetric IRB。在这个 IRB 模型中，Inter-Subnet 路由是 IP-VRF to IP-VRF。在 draft-ietf-bess-e-prefix-advertisement 中又定义了 3 种 IP-VRF-to-IP-VRF 模型，分别是：
- Interface-less IP-VRF-to-IP-VRF Model
- Interface-ful IP-VRF-to-IP-VRF with SBD IRB
- Interface-ful IP-VRF-to-IP-VRF with Unnumbered SBD IRB
7.1 Interface-less IP-VRF-to-IP-VRF Model
Cisco Nexus 采用的就是这种最简单的模型，IP-VRF 直连 IP-VRF，不需要额外的 Overlay Index。正如我们刚才所操作的那样，在这种模型中，Border Node 只需要通告 1 条 RT-5 路由并且不需要携带 GW 参数，只需要携带 router-mac 参数把自己的 NVE 接口的 MAC 地址通告出去。其他 VTEP 在收到这条 RT-5 路由之后，会将 next-hop 指向 Border 的 NVE 接口。
7.2 Interface-ful IP-VRF-to-IP-VRF with SBD IRB
这种模型是最复杂的，IP-VRF 不能直连其他 VTEP 的 IP-VRF，需要一个 Supplementary Broadcast Domain (SBD) 作为一个 “Super IRB”，连接租户所有的 IP-VRF。SBD 还需要有自己的 IP 地址和 MAC 地址。同样地，在 Border Node (Datacenter GW) 上也需要有 SBD。
图12. Interface-ful with SBD IRB model
在这个操作模型中，Border 需要通告 2 条路由：
- 1 条 RT-5，通告 Prefix，同时把自己的 SBD IRB 的 IP 地址作为 GW 通告出去。GoBGP 的
[gw参数就是为这个模型准备的] - 1 条 RT-2，向 Fabric 通告自己的 SBD IRB 的 MAC/IP，同时还要携带
router-macExt-community
[图13. Advertisement_Interface-ful with SBD IRB model]
7.3 Interface-ful IP-VRF-to-IP-VRF with Unnumbered SBD IRB
这种模型相对简单一点，VTEP 和 Border 同样需要 SBD 作为 overlay index，但 SBD IRB 不再需要 IP 地址，只需要 MAC 地址。
图14. Interface-ful with unnumbered SBD IRB model
在这个操作模型中，Border 也还是需要通告 2 条路由：
- 1 条 RT-5，通告 Prefix，不需要携带 GW，但需要携带
router-macExt-community - 1 条 RT-2，仅向 Fabric 通告自己的 SBD IRB 的 MAC
[图15. Advertisement_Interface-ful with unnumbered SBD IRB model]
GoBGP 的功能还有很多，以后如果有时间我们再试一下与 Zebra API 集成。
参考：
[1] https://github.com/osrg/gobgp/blob/master/docs/sources/e.md
[2] https://github.com/osrg/gobgp/blob/master/docs/sources/cli-command-syntax.md
[3] http://www.slideshare.net/shusugimoto1986/tutorial-using-gobgp-as-an-ixp-connecting-router
[4] https://ciscolive.cisco.com/on-demand-library/?search=3378#/session/1509501642097001PzUe
[5] https://tools.ietf.org/html/rfc6514
[6] https://tools.ietf.org/html/rfc7432