Tungsten Fabric入门宝典系列文章,来自技术大牛倾囊相授的实践经验,由TF中文社区为您编译呈现,旨在帮助新手深入理解TF的运行、安装、集成、调试等全流程。如果您有相关经验或疑问,欢迎与我们互动,并与社区极客们进一步交流。更多TF技术文章,请点击【TF中文社区】公号底部按钮>学习>文章合集。

作者:Tatsuya Naganawa 译者:TF编译组

服务链

尽管有很多用例,但NFVI将成为Tungsten Fabric最突出的用例之一,这是由于NFVI许多独特的功能,使其成为实现软件的基础。

其中最著名的功能就是服务链(service-chain),该功能可在不更改VNF IP的情况下管理流量,从而可以实时插入和删除VNF。

由于vRouter可以在内部包含VRF,因此它可以在VNF的每个接口上都具有VRF,并且可以通过虚假的下一跳处理流量,例如发送给下一个VNF。

Tungsten Fabric的服务链是通过这种方式实现的,因此一旦创建服务链,你将看到很多个VRF被创建,并且将插入下一跳,将流量发送到服务链中的下一个VNF。

  • VRF(在control的术语中是routing-instance)被命名为domain-name:project-name:virtual-network-name:routing-instance-name。在大多数情况下,virtual-network-name和routing-instance-name是相同的,但是服务链是该规则的一个例外

要设置一个服务链示例,可以按照以下视频中的步骤进行操作:

  • https://www.youtube.com/watch?v=h5qOqsPtQ7M

之后,你可以看到左侧virtual-network具有右侧virtual-network的前缀,并带有更新的下一跳,该前缀指向VNF的左侧接口,对于右侧virtual-network反之亦然。

注意:据我所知,在使用服务链v2时,仅使用“左”和“右”接口进行服务链计算,而“管理”和“其它”接口则被忽略

  • L2, L3, NAT

有许多具有不同流量类型集的VNF,因此NFVI的SDN也需要支持多种流量类型。

为此,Tungsten Fabric服务链支持三种流量类型,即l2,l3,nat。

l2服务链(也称为透明服务链)可以与透明VNF一起使用,透明VNF与网桥具有相似的功能,并基于arp响应发送报文。

尽管vRouter始终使用相同的mac地址(00:01:00:5e:00:00),

  • https://github.com/Juniper/contrail-controller/wiki/Contrail-VRouter-ARP-Processing#vrouter-mac-address

但这种情况是该规则的例外,VNF左侧的vRouter使用dest mac: 2:0:0:0:0:2发送流量,而VNF右侧的vRouter使用dest mac 1:0:0:0:0:1发送流量。因此,bridge-type的VNF会将流量发送到其接口的另一侧。

请注意,即使使用l2 vnf,左侧virtual-network和右侧virtual-network也需要具有不同的子网。这可能有点反常,但是由于vRouter可以进行l3路由,因此可以使用vRouter - L2VNF - vRouter,就像router - L2VNF – router是可以接受的一样。

另一方面,l3服务链(也称为in-network服务链)将在不更改mac地址的情况下将流量发送到VNF,因为在这种情况下,VNF将根据其目标IP进行路由(类似于路由器的行为)。除mac地址外,其行为与l2的情况几乎相同。

Nat服务链类似于l3服务链,因为它希望VNF根据目标IP进行路由。一个很大的区别是,它将右侧virtual-network的前缀复制到左侧virtual-network,但是不会将左侧virtual-network的前缀复制到右侧virtual-network!

  • 因此左/右接口需要仔细选择,因为在这种情况下它是不对称的

这种服务链形式的典型用例是,在用于Internet访问的SNAT等情况下,VNF的左侧接口具有私网IP,而右侧接口具有全局IP。由于私网IP无法导出到Internet,在这种情况下,左侧virtual-network的前缀无法复制到右侧virtual-network。

ECMP,多VNF

服务链功能还支持ECMP设置,用于规模化部署。

  • 配置基本相同,但需要将多个端口-元组分配给一个服务实例。

在这之后,你会发现,流量将根据5个数据包的5元组进行负载平衡。

多VNF也可以设置,如果将多个服务实例分配到一个网络策略上,则可以设置多VNF。

当使用l3服务链时,虽然可能会有反直觉,但需要将两个VNF分配给同一个虚拟网络。

  • 因为所有来自VNF的数据包都会在服务链的独立VRF中,所以它们可以有相同的子网。

也支持同时使用l2和l3,不过在这种情况下,需要将l2 vnf分配到不同的虚拟网络中,其中一个网络政策是附加的。

  • 在这篇博文中描述了设置示例:https://tungsten.io/building-and-testing-layer2-service-images-for-opencontrail/

子接口

这也是NFVI中使用的功能,因此这里我也要提一下。

VNF会基于各种原因发送带标签的报文。在这种情况下,如果vlan标签不同,则vRouter可以使用不同的VRF。

  • 类似于Junos术语“set routing-instances routing-interface-name interface xxx”中的子接口

这里描述了具体操作:
https://www.youtube.com/watch?v=ANhBQe_DS2E

DPDK

vRouter具有使用DPDK与物理NIC交互的功能。

它将经常用于NFV类型的部署,因为基于纯Linux kernel的网络堆栈,要获得与典型VNF(本身可能使用DPDK或类似技术)相当的转发性能仍然不容易。

  • https://blog.cloudflare.com/how-to-receive-a-million-packets/

要通过ansible-deployer启用此功能,需要设置这些参数。

bms1:
  roles:
    vrouter:
      AGENT_MODE: dpdk
      CPU_CORE_MASK: “0xe” ## coremask for forwarding core (Note: please don't include first core in numa to reach optimal performance :( )
      SERVICE_CORE_MASK: “0x1” ## this is for non-forwarding thread, so isolcpu for this core is not needed
      DPDK_CTRL_THREAD_MASK: “0x1” ## same as SERVICE_CORE_MASK
      DPDK_UIO_DRIVER: uio_pci_generic ## uio driver name
      HUGE_PAGES: 16000 ## number of 2MB hugepages, it can be smaller

当设置为AGENT_MODE: dpdk时,ansible-deployer将会安装一些容器,例如vrouter-dpdk——这是一个针对物理NIC运行PMD的进程。因此在这种情况下,将基于DPDK实现从vRouter到物理NIC的转发。

注意:

  1. 由于vRouter链接到PMD的数量有限,因此要使用某些特定的NIC,可能需要重新构建vRouter
  • https://github.com/Juniper/contrail-vrouter/blob/master/SConscript#L321
  1. 对于某些NIC(例如XL710),不能使用uio_pci_generic。在这种情况下,需要改用vfio-pci
  • https://doc.dpdk.org/guides-18.05/rel_notes/known_issues.html#uio-pci-generic-module-bind-failed-in-x710-xl710-xxv710

由于在这种情况下,vRouter的转发平面不在kernel空间中,因此无法使用tap设备从VM获取报文。为此,QEMU具有“vhostuser”的功能,用于在用户空间中将报文发送到dpdk进程。当vRouter配置为AGENT_MODE: dpdk时,nova-vif-driver将自动创建vhostuser vif,而不是创建用于kernel vRouter的tap vif。

  • 从VM方面看,它看起来仍然像virtio,因此可以使用常规的virtio驱动程序与DPDK vRouter进行通信。

一个警告是,当QEMU将要连接到vhostuser界面时,qemu还需要为此提供巨大的支持。使用OpenStack时,此knob将为每个VM分配大量页面。

openstack flavor set flavorname --property hw:mem_page_size=large 
 - hw:mem_page_size=2MB, hw:mem_page_size=1GB also can be used

为了达到最佳性能,kernel和dpdk进程本身都有很多调整参数。对我来说,在kernel方面以下两篇文章是最有帮助的。

  • https://www.redhat.com/en/blog/tuning-zero-packet-loss-red-hat-openstack-platform-part-1

  • https://www.redhat.com/en/blog/going-full-deterministic-using-real-time-openstack

  • cat /proc/sched_debug也可用于查看核心隔离是否运行良好

而在vRouter方面,这一点可能需要注意。

  1. vRouter将使用基于5-tuple的核心负载均衡,因此为了获得最佳性能,可能需要增加流的数量
  • https://www.openvswitch.org/support/ovscon2018/6/0940-yang.pptx

注意:当使用vrouter-dpdk时,使用untagged数据包可能会带来更多的吞吐量(这意味着在不使用--vlan_tci的情况下提供vrouter-dpdk)

BGPaaS

BGPaaS也是Tungsten Fabric中比较独特的功能,该功能用于在VNF中插入VRF的路由。

  • 从某种意义上说,它有点类似于AWS V P N 网关,因为它会自动从VPC路由表中获取路由

从操作角度来看,使用vRouter的网关IP和服务IP,vRouter中的VNF将具有IPV4 bgp对等方。

一个值得注意的用例是设置ipsec VNF,它可以通过V P N网关连接到公共云。在这种情况下,VPC的路由表将被复制到VNF,并将通过BGPaaS复制到vRouter的VRF,因此,当在公共云的VPC中新添加修改的子网时,所有前缀均会被正确分配。

Service Mesh

Istio运行良好,多集群也是其中很有趣的主题。

  • https://www.youtube.com/watch?v=VSNc9qd2poA

  • https://istio.io/docs/setup/kubernetes/install/multicluster/***/

Tungsten Fabric入门宝典系列文章——

  1. 首次启动和运行指南
  2. TF组件的七种“武器”
  3. 编排器集成
  4. 关于安装的那些事(上)
  5. 关于安装的那些事(下)
  6. 主流监控系统工具的集成
  7. 开始第二天的工作
  8. 8个典型故障及排查Tips
  9. 关于集群更新的那些事
  10. 说说L3V P N及EV P N 集成

Tungsten Fabric 架构解析系列文章——

第一篇:TF主要特点和用例
第二篇:TF怎么运作
第三篇:详解vRouter体系结构
第四篇:TF的服务链
第五篇:vRouter的部署选项
第六篇:TF如何收集、分析、部署?
第七篇:TF如何编排
第八篇:TF支持API一览
第九篇:TF如何连接到物理网络
第十篇:TF基于应用程序的安全策略


Tungsten Fabric入门宝典丨关于服务链、BGPaaS及其它
Tungsten Fabric入门宝典丨关于服务链、BGPaaS及其它