【linux-虚拟化】 SR-IOV技术

参考

管理 SR-IOV 设备

1. 什么是 SR-IOV?

单根 I/O 虚拟化(SR-IOV)是一种规范，它允许单个 PCI Express(PCIe)设备向主机系统呈现多个独立的 PCI 设备，称为 虚拟功能 (VF)。这样的每个设备：

• 提供与原始 PCI 设备相同的或类似的服务。
• 出现在主机 PCI 总线的不同地址上。
• 可使用 VFIO 分配功能分配到不同的虚拟机。

例如，单个具有 SR-IOV 的网络设备可以向多个虚拟机显示 VF。虽然所有 VF 都使用相同的物理卡、相同的网络连接和相同的网线，但每个虚拟机都直接控制其自己的硬件网络设备，并且不使用主机的额外资源。

SR-IOV 的工作原理

SR-IOV 功能可能会因为引进了以下 PCI 功能：

• 物理功能(PF) - 为主机提供设备（如网络）功能的 PCIe 功能，但也可以创建和管理一组 VF。每个具有 SR-IOV 功能的设备都有一个或多个 PF。
• 虚拟功能(VF) - 充当独立设备的轻量级 PCIe 功能。每个 VF 都是从 PF 中派生的。一个设备可依赖于设备硬件的最大 VF 数。每个 VF 每次只能分配给一个虚拟机，但虚拟机可以分配多个 VF。

VM 将 VF 识别为虚拟设备。例如，由 SR-IOV 网络设备创建的 VF 显示为分配给虚拟机的网卡，其方式与主机系统上显示的物理网卡相同。

图 10.1. SR-IOV 架构

优点

使用 SR-IOV VF 而不是模拟设备的主要优点是：

• 提高的性能
• 减少主机 CPU 和内存资源使用量

例如，作为 vNIC 附加到虚拟机的 VF 性能几乎与物理 NIC 相同，并且优于半虚拟化或模拟的 NIC。特别是，当多个 VF 在单个主机上同时使用时，其性能优势可能非常显著。

缺点

• 要修改 PF 的配置，您必须首先将 PF 公开的 VF 数量改为零。因此，您还需要将这些 VF 提供的设备从分配给虚拟机的设备中删除。
• 附加了 VFIO 分配设备的虚拟机（包括 SR-IOV VF）无法迁移到另一台主机。在某些情况下，您可以通过将分配的设备与模拟的设备进行配对来临时解决这个限制。例如，您可以将分配的网络 VF 绑定 到模拟的 vNIC 中，并在迁移前删除 VF。
• 另外，分配了 VFIO 的设备需要固定虚拟机内存，这会增加虚拟机的内存消耗，并防止在虚拟机上使用内存膨胀。

其它资源

• SR-IOV 分配支持的设备
• 在 IBM Z 中配置透传 PCI 设备

1.2. 将 SR-IOV 网络设备附加到虚拟机

要将 SR-IOV 网络设备附加到 Intel 或 AMD 主机上的虚拟机(VM)，您必须从主机上支持 SR-IOV 的网络接口创建一个虚拟功能(VF)，并将 VF 作为设备分配给指定虚拟机。详情请查看以下步骤。

先决条件

• 您的主机的 CPU 和固件支持 I/O 内存管理单元(IOMMU)。

  • 如果使用 Intel CPU，它必须支持 Intel 的直接 I/O 虚拟化技术(VT-d)。
  • 如果使用 AMD CPU，则必须支持 AMD-Vi 功能。

• 主机系统使用访问控制服务(ACS)来为 PCIe 拓扑提供直接内存访问(DMA)隔离。与系统供应商一起验证这一点。

  如需更多信息，请参阅实施 SR-IOV 的硬件注意事项。

• 物理网络设备支持 SR-IOV。要验证系统上的任何网络设备是否支持 SR-IOV，请使用 lspci -v 命令，并在输出中查找 单根 I/O 虚拟化(SR-IOV) 。

  # lspci -v
  [...]
  02:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)
  	Subsystem: Intel Corporation Gigabit ET Dual Port Server Adapter
  	Flags: bus master, fast devsel, latency 0, IRQ 16, NUMA node 0
  	Memory at fcba0000 (32-bit, non-prefetchable) [size=128K]
  [...]
  	Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
  	Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
  	Kernel driver in use: igb
  	Kernel modules: igb
  [...]
  

• 用于创建 VF 的主机网络接口正在运行。例如：要激活 eth1 接口并验证它正在运行：

  # ip link set eth1 up
  # ip link show eth1
  8: eth1:  mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000
     link/ether a0:36:9f:8f:3f:b8 brd ff:ff:ff:ff:ff:ff
     vf 0 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
     vf 1 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
     vf 2 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
     vf 3 MAC 00:00:00:00:00:00, spoof checking on, link-state auto
  

• 要使 SR-IOV 设备分配正常工作，必须在主机 BIOS 和内核中启用 IOMMU 功能。要做到这一点：

  • 在 Intel 主机上启用 VT-d：

    1. 使用 intel_iommu=on 和 iommu=pt 参数重新生成 GRUB 配置：

       # grubby --args="intel_iommu=on iommu=pt" --update-kernel=ALL
       

    2. 重启主机。

  • 在 AMD 主机上启用 AMD-Vi：

    1. 使用 iommu=pt 参数重新生成 GRUB 配置：

       # grubby --args="iommu=pt" --update-kernel=ALL
       

    2. 重启主机。

流程

1. 可选： 确认您的网络设备可使用的最大 VF 数。要做到这一点，请使用以下命令，将 eth1 替换为您的 SR-IOV 兼容网络设备。

   # cat /sys/class/net/eth1/device/sriov_totalvfs
   7
   

2. 使用以下命令来创建虚拟功能(VF)：

   # echo VF-number > /sys/class/net/network-interface/device/sriov_numvfs
   

   在命令中，替换：

   • 使用您要在其上创建 PF 的 VF 数替换 VF-number。
   • 使用 VF 要创建的网络接口的名称替换 network-interface。

   以下示例从 eth1 网络接口创建 2 个 VF：

   # echo 2 > /sys/class/net/eth1/device/sriov_numvfs
   

3. 确定已添加了 VF：

   # lspci | grep Ethernet
   82:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
   82:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
   82:10.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   82:10.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)
   

4. 通过为您用于创建 VF 的网络接口创建一个 udev 规则，使创建的 VF 持久化。例如，对于 eth1 接口，创建 /etc/udev/rules.d/eth1.rules 文件，并添加以下行：

   ACTION=="add", SUBSYSTEM=="net", ENV{ID_NET_DRIVER}=="ixgbe", ATTR{device/sriov_numvfs}="2"
   

   这样可确保使用 ixgbe 驱动程序的两个 VF 在主机启动时可自动对 eth1 接口可用。如果不需要持久性 SR-IOV 设备，请跳过这一步。

   警告

   目前，当试图在 Broadcom NetXtreme II BCM57810 适配器上保留 VF 时，上述设置无法正常工作。另外，基于这些适配器将 VF 附加到 Windows 虚拟机当前还不可靠。

5. 将新添加的 VF 接口设备热插到正在运行的虚拟机中。

   # virsh attach-interface testguest1 hostdev 0000:82:10.0 --managed --live --config
   

验证

• 如果过程成功，客户机操作系统会检测新的网络接口卡。

1.3. SR-IOV 分配支持的设备

并非所有设备都可用于 SR-IOV。以下设备已在 RHEL 8 中进行了测试，并验证了与 SR-IOV 兼容。

网络设备

• Intel 82599ES 10 千兆以太网控制器 - 使用 ixgbe 驱动程序
• Intel 以太网控制器 XL710 系列 - 使用 i40e 驱动程序
• Mellanox ConnectX-5 以太网适配器卡 - 使用 mlx5_core 驱动程序
• Intel 以太网络适配器 XXV710 - 使用 i40e 驱动程序
• Intel 82576 千兆以太网控制器 - 使用 igb 驱动程序
• Broadcom NetXtreme II BCM57810 - 使用 bnx2x 驱动程序