VM高性能网络I/O：DPDK ＋SR-IOV配置

日常搬砖打杂所用，记录于此，以便日后查阅。

---

预备知识：DPDK配置及使用，SR-IOV相关概念（PF，VF），网卡passthrough给VM

---

目录

• 配置过程

• SR-IOV数据包分发机制

---

配置过程（Ubuntu 14.04）：

1. 给VM所在的Host打开iommu 以及 sriov，以Intel CPU为例（AMD CPU iommu打开方式略有不同）

# Step 1 修改/etc/default/grub
# 表示对于每个物理interface，打开4个virtual functions
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on ixgbe.max_vfs=4"
# Step 2 更新grub配置并重启物理机
>> update-grub && reboot

重启之后可以查看到所有的PF和VF，表示配置成功>> lspci | grep -i ether，结果如下：

>> ip link show 也能够看到每个物理interface下对应的VFs

2. VF能够收发包的前提是相应的PF必须处于UP的状态，通过ifconfig来UP所有的PF
3. 默认所有VF的mac地址都是全0，所以需要为VF配置mac地址，通过ip link set来进行设置

>> ip link set  vf  mac 

其余配置可选，同样使用ip link set来进行设置，可以通过ip link help来查看其余可配置项。
注：spoof checking开启后，会进行mac地址检查，如果发现VF要发送的数据包mac地址不是本身的mac地址，则会被丢弃。
到这一步，已经可以在物理机上使用VF了，用ifconfig把VF对应的interface UP起来即可收发数据包。接下来是配置DPDK + SR-IOV。

4. 在Host上将VF从内核态驱动ixgbevf解绑，重新绑定到vfio-pci驱动，这里可以利用DPDK提供的脚本dpdk_bind_nic.py来设置

# 加载vfio-pci驱动内核模块
>> modprobe vfio-pci
# 重新绑定VF驱动
>> ./dpdk_bind_nic.py --bind= vfio-pci

到这里，就能够在Host上通过DPDK在VF上收发数据包了。再接下来是，如何在VM中使用DPDK在VF上收发数据包。

5. 本文中使用的虚拟化软件是qemu-kvm，首先在启动VM时，需要设置qemu-kvm的启动参数，将VF passthrough到VM。

>> qemu-system-x86_64 -enable-kvm -drive file=,if=virtio -cpu host -smp 16 -m 16G \
            -name  -device vfio-pci,host= -device vfio-pci,host= -vnc :1 -net none

重点在于通过-device vfio-pci,host=将VF passthrough到虚拟机，这样VM就可以直接使用VF了。

6. VM启动后，ifconfig -a可以看到passthrough的VFs，将对应VF的interface绑定到DPDK提供的igb_uio驱动就可以在虚拟机中通过DPDK使用VF收发包了。

---

SR-IOV数据包分发机制

知道如何配置SR-IOV后，还需要了解数据包是如何从外部进入VF，以及从VF发出的数据包是如何流向的，才能够正确使用SR-IOV进行收发包。

其实，从逻辑上可以认为开启SR-IOV后的物理网卡内置了一个定制的Switch将所有的PF和VF口连接起来，通过VF和PF的mac地址以及vlanid来进行数据包分发。

那么在入方向（从外部进入网卡）上，数据包分发机制是：如果数据包的目的mac地址和vlanid都匹配某一个VF，那么数据包会分发到该VF，否则数据包会进入PF；如果数据包的目的mac地址是广播地址，那么数据包会在同一个vlan内广播（即所有vlanid=数据包vlanid的VF，都会收到该数据包）。

在出方向（从PF或者VF发出）上：如果数据包的mac地址不匹配同一vlan内的任何端口（VF或PF），那么数据包会向网卡外部转发，否则会直接转发给对应的端口；如果数据包的mac地址为广播地址，那么数据包会在同一个vlan内以及向网卡外部广播。
注：所有未设置vlanid的VF和PF，可以认为是在同一个“vlan”中，不带vlan的数据包在该“vlan”中按照上述规则进行处理

此外，设置了vlan的VF，发出数据包时，会自动给数据包加上vlan，在接收到数据包时，可以设置是否由硬件剥离vlan头部。（在DPDK中，配置网卡时，可以选择打开strip vlan标识）