Linux的pcie模拟网卡,Qemu虚拟机pci设备透传——网卡
在qemu虚拟机中为了提高网络的性能，将本地host端的多余网卡透传到虚拟机中使用。
设备的透传需要主机支持Intel(VT-d)或AMD (IOMMU)硬件虚拟化加速技术
查看是否开启IOMMU1dmesg | grep -e DMAR -e IOMMU
开启IOMMU功能操作系统：Centos7,cpu: Intel(R) Xeon(R)
编辑/boot/efi/EFI/centos/grub.cfg文件，在系统启动内核的选项linuxefi中追加intel_iommu=on1
2
3< linuxefi /vmlinuz-3.10.0-1127.18.2.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet LANG=en_US.UTF-8 intel_iommu=on
---
> linuxefi /vmlinuz-3.10.0-1127.18.2.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet LANG=en_US.UTF-8
系统重启后，查看支持IOMMU的设备：1
2
3
4#find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/1/devices/0000:00:04.0
...
查看BIOS是否开启intel-vt-x/vt-d1cat /proc/cpuinfo | grep vmx
如果没有开启需要在BOIS中使能intel-vt-x/vt-d
选择绑定网卡
通过ifconfig ethx down/up开关相应的网络节点，获取相应的pci地址，该地址可以通过dmesg查看判断1
2
3
4#dmesg -c
#ifconfig p1p1 down
#dmesg
[27244.804247] ixgbe 0000:3b:00.0: removed PHC on p1p1p1p1端口对应网卡的pci地址：0000:3b:00.0
加载vfio驱动1
2modprobe vfio
modprobe vfio-pci
网卡透传
Host端解绑网卡1echo "0000:3b:00.0" > /sys/bus/pci/devices/0000\:3b\:00.0/driver/unbind
注意在解绑网卡是需要将该网卡下的所有端口设备全部解绑，比如1
2ls /sys/bus/pci/devices/0000\:18\:00.0/iommu_group/devices/
0000:18:00.0 0000:18:00.1
需要将0000:18:00.0，0000:18:00.1全部进行解绑
生成vfio设备1
2
3#lspci -s 0000:3b:00.0 -n
3b:00.0 0200: 8086:154d (rev 01)
#echo "8086 154d" > /sys/bus/pci/drivers/vfio-pci/new_id在/dev/vfio/下面会有个以阿拉伯数字命名的文件，对应vfio设备组
绑定vfio总线驱动1echo "0000:3b:00.0" > /sys/bus/pci/drivers/vfio-pci/bind
虚拟机参数1-device vfio-pci,host=0000:3b:00.0在qemu的启动参数中添加上面参数，该物理网卡将被透传到虚拟机中。
问题
在进行网卡的透传过程中，出现以下错误：1
22020-09-23T10:16:51.707664Z qemu-system-x86_64: -device vfio-pci,host=0000:3b:00.0,id=hostdev0,bus=pci.0,addr=0xa: vfio 0000:3b:00.0: group 25 is not viable
Please ensure all devices within the iommu_group are bound to their vfio bus driver.
该错误的原因：在进行网卡透传时，以上提到的pci地址(0000:3b:00.0)其实为一张物理网卡的一个端口地址，一般的网卡都是两个端口，而此时只绑定了一个端口，需要将两个端口设备都进行解绑并绑定到vfio总线驱动上1
2#ls /sys/bus/pci/devices/0000\:18\:00.0/iommu_group/devices/
0000:18:00.0 0000:18:00.1
脚本处理
为了以后处理方便将host端的配置进行脚本处理1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34#/bin/bash
#set -x
PCI_ADDR="18:00.1"
modprobe vfio
modprobe vfio-pci
lsmod | grep vfio
lspci -s $PCI_ADDR -n #em2
device_id=`lspci -s $PCI_ADDR -n | awk '{print $3}'`
device_id=${device_id/:/ } #去除：号
echo "PCI: $PCI_ADDR, Device ID:$device_id"
#生成vfio设备
echo "$device_id" > /sys/bus/pci/drivers/vfio-pci/new_id
#pci设备绑定vfio总线驱动(解绑--绑定)
pci_device=/sys/bus/pci/devices/0000:$PCI_ADDR/iommu_group/devices/
pci_device=`echo $pci_device | sed 's/:/\\:/g'` #添加转移符，echo打印不出来
#ls $pci_device
for dev in `ls $pci_device`
do
echo "---dev:$dev"
_pci_dev_unbind="/sys/bus/pci/devices/$dev/driver/unbind"
_pci_dev_unbind=`echo $_pci_dev_unbind | sed 's/:/\\:/g'`
#ls $_pci_dev_unbind
echo "$dev" > $_pci_dev_unbind
echo "$dev" > /sys/bus/pci/drivers/vfio-pci/bind
lspci -s $dev -k
done
ls /dev/vfio/
virsh命令解除绑定Host端的设备解除绑定(就是不被host系统所管理使用)后，通过给guest系统使用前的必备操作列出设备ID1
2
3#virsh nodedev-list | grep pci | grep 18
pci_0000_18_00_0
pci_0000_18_00_1
查询当前使用的驱动程序1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26#virsh nodedev-dumpxml pci_0000_18_00_0
pci_0000_18_00_0
/sys/devices/pci0000:17/0000:17:03.0/0000:18:00.0
pci_0000_17_03_0
vfio-pci
0
24
0
0
NetXtreme BCM5720 2-port Gigabit Ethernet PCIe
Broadcom Inc. and subsidiaries
这是设备手动解除绑定后dump出的详细信息，如果没有解除绑定数据可能不同解绑当前设备1
2#virsh nodedev-detach pci_0000_18_00_0
#virsh nodedev-detach pci_0000_18_00_1
参考