pci passthrough with qemu
http://pic.dhe.ibm.com/infocenter/lnxinfo/v3r0m0/index.jsp?topic=%2Fliaat%2Fliaatbppassthrougtask.htm
http://www.linux-kvm.org/page/How_to_assign_devices_with_VT-d_in_KVM
1. 确定硬件是否支持iommu
这是一个硬件的功能，intel架构上叫vt-d。
从BIOS上可以看出来, 不同版本放的位置不一样。
我的是在 Security->Virtualization->VT-d
2. 配置kernel，支持iommu
在intel机器上有这么个选项，
INTEL_IOMMU
│ Location: │
│ -> Device Drivers │
│ (2) -> IOMMU Hardware Support (IOMMU_SUPPORT [=y])
3. 重启，看看是否enable了。
在intel上，运行
dmesg | grep -e DMAR -e IOMMU
4. 在host上unbind设备
加载pci_stub模块， modprobe pci_stub
选中某个设备， lspci -s 03:00.0 -n, 03:00.0 0280: 8086:0085 (rev 34)
bind/unbind
- echo "8086 0085" > /sys/bus/pci/drivers/pci-stub/new_id
- echo 0000:03:00.0 > /sys/bus/pci/devices/0000:01:00.0/driver/unbind
- echo 0000:03:00.0 > /sys/bus/pci/drivers/pci-stub/bind
5. 把设备给guest
./i386-softmmu/qemu-system-i386 -enable-kvm \
-drive file=../../kvm/ubuntu.qcow2 -boot dc -m 512 \
-monitor stdio \
-netdev user,id=usernet -device rtl8139,netdev=usernet \
-device pci-assign,host=0000:03:00.0
不过偶没有成功，报错了。。。
6. 错误分析，解决
按照上面的办法没成功，我看了一下dmesg，有这么一句。
kvm_iommu_map_guest: No interrupt remapping support, disallowing device assignment. Re-enble with "allow_unsafe_assigned_interrupts=1" module option.
稍微调查了一下，发现和这个选项有关，config IRQ_REMAP。 可惜我enable不了，因为这个必须在x86_64上做。
没办法，那我只好在装载kvm模块的时候加上这个参数的设置了。
加上这个参数后，果然就好了。赞。
接下来我用了vfio来做passthrough。步骤略有不同。
1. 安装相关的kernel module
sudo modprobe vfio
sudo modprobe vfio-pci
这样就产生了 /dev/vfio/vfio 设备
2. 按照文档要求，添加设备到一个group
按照现在的要求，需要讲某一个iommu_group下的所有设备都添加到一个vfio group.
cd /sys/bus/pci/devices/0000:0d:00.0/
readlink iommu_group 这样可以显示该设备对应iommu_group的名字
ll iommu_group/devices 这样可以显示和该设备处于一个iommu_group的设备。
echo 0000:0d:00.0 > /sys/bus/pci/devices/0000:0d:00.0/driver/unbind
echo 1180 e823 > /sys/bus/pci/drivers/vfio-pci/new_id
echo 0000:03:00.0 > /sys/bus/pci/devices/0000:03:00.0/driver/unbind
echo 8086 0085 > /sys/bus/pci/drivers/vfio-pci/new_id
这样就生成了 /dev/vfio/6 (数字由iommu_group号决定）
3. 启动 guest
../git/qemu-latest/i386-softmmu/qemu-system-i386 -enable-kvm -drive file=ubuntu.qcow2 -boot dc -m 512 -monitor stdio -netdev user,id=usernet -device vfio-pci,host=0000:03:00.0
如果是在power机器上，则写成
-device "spapr-pci-vfio-host-bridge,id=CXGB3,iommu=4,index=6"
4. fix
默认这么启动会有个错误，当然这是在我的机器上。
vfio_iommu_type1_open: No interrupt remapping support. Use the module param "allow_unsafe_interrupts" to enable VFIO IOMMU support on this platform
意思是我这个机器不支持remap， 那我就把这个参数直接设成了1. 就好了。