网络虚拟化——SR-IOV

之前的多篇文章介绍了网络虚拟化常见的技术实现,特别是virtio/vhost技术的实现。虽然virtio/vhost架构显著改善了虚拟网络的性能,但virtio网卡仍然是软件模拟的设备,其性能稳定性和资源占用率显然无法达到物理网卡的水平。虚拟网络其实还有一种实现方式——设备直通,让虚拟机与网卡直接交互,从而获得最高的网络性能。但这种方式显然无法大规模使用,因为物理网卡的数量是有限的,成本也很高,无法为每个虚拟机分配一个。

SR-IOV(Single Root I/O Virtualization)技术就是为了解决上述问题而产生的。通过SR-IOV技术,单个物理网卡能够提供多个网卡的接口和功能,从而让每个虚拟机都能直接和物理网卡通信,获得接近物理网卡的网络性能。

本文将讨论SR-IOV的基本原理和使用场景。

问题

  1. SR-IOV和MR-IOV有什么关系和区别?
  2. SR-IOV模拟出的VF和普通网卡在功能上和使用上有什么区别?
  3. 虚拟机是如何完成VF的配置和初始化的?
  4. 虚拟机与VF直接交互时,是如何注册设备的DMA地址的?

SR-IOV概念

SR-IOV中的SR(Single Root)是与MR-IOV相对的。SR-IOV和MR-IOV都是PCI-SIG定义的IO设备硬件虚拟规范。这里的Single Root和Multi Root中的Root指的是PCI根节点,基本上可以看做是单个计算节点的接入点。支持SR-IOV的IO设备只能同时为单个节点服务,相应的MR-IOV设备就能同时接入多个节点工作。MR-IOV主要是为刀片架构设计的,允许多个计算刀片通过同一个MR-IOV设备实现IO功能。普通服务器上的网卡只需要支持SR-IOV即可,例如Intel经典的82599系列。

SR-IOV是让PCIE设备扩展支持硬件虚拟化的规范,具体规范可见https://composter.com.ua/documents/sr-iov1_1_20Jan10_cb.pdf

在规范中,定义了SR-IOV设备可以支持两个类别的功能:PF(Physical Function)和VF(Virtual Function)。

PF顾名思义就是普通物理设备原有的功能。只是在支持SR-IOV的设备上,PF还拥有了配置和初始化VF的能力。SR-IOV规范中要求PF增加了一个SR-IOV专用的寄存器,用于配置和开关SR-IOV能力。

VF就是虚拟化出来的虚拟设备。在操作系统角度看,VF是PCIE总线上的一个物理设备,只是和物理网卡共用一个PCIE slot。VF创建后,系统可以像操作普通网卡那样操作VF网卡,只是需要使用专门的网卡驱动。以intel的10GE网卡82599为例,PF的驱动是标准的ixgbe,VF的驱动是ixgbevf。

根据规范,单个PF可以生成65536个VF,但实际上网卡不可能支持这么多VF。网卡支持的具体VF数量与网卡的硬件资源有关,例如82599支持64个VF。

SR-IOV的使用

SR-IOV虽然是为虚拟化环境设计的,但从功能和使用上说和软件层面的虚拟化没有什么直接关系。对VF的创建和配置是在PF驱动的基础上执行的,通过PF驱动向上暴露的接口操作。例如通过/sys/bus/pci/devices/$BDF/sriov_numvfs就能动态创建指定数量的VF,在驱动加载时直接传入参数也能达到相同的效果。

在VF被创建后,在host系统中就可以当做是一个真实的物理网卡使用,可以通过内核驱动或DPDK的用户态驱动来操作。

如果要在guest中使用VF,需要在qemu启动虚拟机时配置设备直通模式,通过qemu实现guest对VF的配置和内存映射,最终让guest能够与VF直接DMA通信。大体结构如下图所示。

网络虚拟化——SR-IOV_第1张图片

 这里就有一些问题,guest是不能直接访问物理机的PCI总线和设备的,那么它是怎么发现和配置VF的?另外guest中使用的地址空间是GVA/GPA,VF如何使用这些地址去执行DMA?这些工作都需要在qemu和KVM的支持下完成。

QEMU设备直通

这里涉及到的技术称为QEMU设备直通。通过设备直通,guest中设备驱动对device的操作可以原样作用在host的物理设备上。设备直通的具体原理和实现可以参考https://www.donglizhang.org/virt-passthrough.pdf和qemu VM device passthrough using VFIO, the code analysis。大体上说,可以分为几个步骤:

  1. 在guest的虚拟PCI总线上模拟直通设备的存在,使guest OS可以检测到直通设备
  2. 将部分PCI bar设备地址空间(例如rx/tx ring、doorbell)映射到guest地址空间,使guest可以直接读写直通设备内存地址
  3. 通过IOMMU/VFIO映射GPA=>HPA地址,使guest写入设备内存的GPA地址可以被设备直接DMA访问
  4. 通过IOMMU/VFIO重定向设备中断

关于IOMMU和VFIO的部分可以参考上一篇文章:网络虚拟化——virtio-user_dillanzhou的博客-CSDN博客

可以看到,设备直通在设备检测和初始化的阶段是需要qemu/kvm的支持的,但在初始化完成后数据面的交互是可以由guest与设备直接完成的。除了中断处理需要vfio/kvm参与外,guest与直通设备的通信过程和效率可以与host基本相同。

需要注意的是设备直通技术其实与SR-IOV也没有直接关系,只是在有了SR-IOV设备后设备直通技术才有了较大的应用空间。

小结

我们在本文中讨论了SR-IOV的概念以及在Host/Guest中的使用方法和实现。最后来看一下文章开始时的问题:

1. SR-IOV和MR-IOV有什么关系和区别?

SR-IOV只需要支持一个节点(其实就是PCI总线根节点,PCI Root Complex)。MR-IOV支持同时服务多个节点。MR-IOV是在SR-IOV的基础上增加了多节点支持,支持MR-IOV就必然支持SR-IOV。

2. SR-IOV模拟出的VF和普通网卡在功能上和使用上有什么区别?

从使用和表现上和普通网卡没有区别,但VF的功能特性和资源使用量可能比这个设备的PF要少,例如支持的队列数可能会较少,或者某些特性不支持。另外VF和PF最终需要共享带宽和资源。

3. 虚拟机是如何完成VF的配置和初始化的?

部分PCI bar空间(例如rx/tx ring)会被qemu映射到guest地址空间,让guest可以直接访问;另外部分较复杂的配置空间(例如MSI-X中断表),由qemu trap处理。

4. 虚拟机与VF直接交互时,是如何注册设备的DMA地址的?

qemu会维护GPA=>HPA的页表信息,guest只需要向设备写入GPA地址,设备DMA访问时IOMMU会根据页表查询到HPA地址并访问。

通过SR-IOV技术,虚拟机和容器可以直接向网卡收发报文,网络性能不再受限于vhost的处理和转发性能,也节省了vhost的资源开销。

但在虚拟机中使用网卡VF也产生了一个问题,就是虚拟机必须使用VF对应的驱动,这就导致虚拟机在不同物理机间的迁移受到了限制。如果两台物理机使用了不同厂商型号的网卡,由于VF驱动不同,热迁移是不可能实现的,冷迁移也要求guest系统有很好的设备自适应和配置能力。此外,如果网卡的固件和功能升级,guest中的VF驱动版本可能也需要升级,这对虚拟机的部署运维来说也是个很麻烦的问题。

在下一篇文章中,我们将讨论vDPA技术,这种技术让SR-IOV网卡的VF提供标准的virtqueue数据面接口,同时保留在驱动中自定义控制面功能的灵活性。从而解决虚拟机对特定网卡和驱动的依赖,同时保留网卡功能的多样性和可扩展性。

你可能感兴趣的:(网络虚拟化,网络,linux,运维)