一、硬件及需求
联想SR650 2x5218，64G，3x1.2T SAS HDD，显卡RTX2080
因为对系统要求必须是windows，windows server系统没有显卡驱动，win10又没有对应的服务器硬件驱动，尝试安装windows10，使用windows server2019驱动，系统安装安装完成后，驱动问题导致系统蓝屏，重启，无法正常使用
只能使用centos+kvm部署win10虚拟机，显卡采用直通模式，可以正常安装显卡驱动。
二、部署过程
1、安装centos7.8，安装过程省略
英文安装，virt-manager图形界面中文会显示乱码
centos版本：CentOS-7.8-x86_64-DVD-2003
采用的自动分区，不过手动更合适。
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 32G 0 32G 0% /dev
tmpfs 32G 0 32G 0% /dev/shm
tmpfs 32G 11M 32G 1% /run
tmpfs 32G 0 32G 0% /sys/fs/cgroup
/dev/mapper/centos-root 50G 2.3G 48G 5% /
/dev/sda2 1021M 210M 811M 21% /boot
/dev/sda1 200M 12M 189M 6% /boot/efi
/dev/mapper/centos-home 2.1T 24G 2.1T 2% /home
tmpfs 6.3G 0 6.3G 0% /run/user/0
2、安装kvm
2.1设置桥接网络，名称为br0连接到eno1变为到br0
yum -y install bridge-utils
配置br0的网络参数，对照自己的网卡，配置自己的ip
cat > /etc/sysconfig/network-scripts/ifcfg-br0 << EOF
DEVICE=br0
ONBOOT=yes
BOOTPROTO=static
NM_CONTROLLED=no
IPADDR=192.168.31.88
NETMASK=255.255.255.0
GATEWAY=192.168.31.1
DNS1=114.114.114.114
USERCTL=no
TYPE=Bridge
EOF
修改eno1的网络参数
cat > /etc/sysconfig/network-scripts/ifcfg-eno1 << EOF
DEVICE=eno1
ONBOOT=yes
BRIDGE=br0
EOF
重启网络
systemctl restart network
重启网络后ssh连接新设置的ip
检查主机机是否支持kvm
egrep '(vmx|svm)' /proc/cpuinfo
2.2安装kvm
systemctl start libvirtd
查看kvm版本，UEFI模式安装windows需要升级kvm
virsh # version
Compiled against library: libvirt 3.0.0
Using library: libvirt 3.0.0
Using API: QEMU 3.0.0
Running hypervisor: QEMU 2.8.1
2.3更新qemu-kvm
wget http://rpmfind.net/linux/centos/7.8.2003/extras/x86_64/Packages/centos-release-qemu-ev-1.0-4.el7.centos.noarch.rpm
yum install -y centos-release-qemu-ev-1.0-4.el7.centos.noarch.rpm
wget http://rpmfind.net/linux/centos/7.8.2003/extras/x86_64/Packages/centos-release-virt-common-1-1.el7.centos.noarch.rpm
yum install -y centos-release-virt-common-1-1.el7.centos.noarch.rpm
sed -i -e "s/enabled=1/enabled=0/g" /etc/yum.repos.d/CentOS-QEMU-EV.repo
yum --enablerepo=centos-qemu-ev -y install qemu-kvm-ev
systemctl restart libvirtd
查看更新后的kvm版本
virsh # version
Compiled against library: libvirt 4.5.0
Using library: libvirt 4.5.0
Using API: QEMU 4.5.0
Running hypervisor: QEMU 2.12.0
2.4安装OVMF
OVMF“是一个为UEFI支持虚拟机的项目”。
#REPO
vi /etc/yum.repos.d/kraxel.repo
# create new
[qemu-firmware-jenkins]
name=firmware for qemu, built by jenkins, fresh from git repos
baseurl=https://www.kraxel.org/repos/jenkins/
enabled=0
gpgcheck=0
#RPM Install
yum --enablerepo=qemu-firmware-jenkins -y install OVMF
#check ovmf directory
ls /usr/share/OVMF/
#QEMU配置以启用UEF
vim /etc/libvirt/qemu.conf
nvram = [
"/usr/share/OVMF/OVMF_CODE.secboot.fd:/usr/share/OVMF/OVMF_VARS.fd",
]
#重启libvirtd服务
service libvirtd restart
2.5安装win10
使用图形界面安装，xshell的xmanager工具
virt-manager
2.5.1选择UEFI模式，暂不配置显卡直通
2.5.2如果硬盘或者CD/ROM报错不支持IDE模式不支持，请更改成SATA模式
2.5.3网卡桥接模式
2.5.4vnc连接配置，选择vncserver，否则可能看不到虚拟机画面，vnc客户端配置raw模式，否则可能很卡
2.6显卡直通
2.6.1开启iommu
IOMMU(i/o memory management unit)。iommu有两大功能：控制设备dma地址映射到机器物理地址（dmar），中断重映射（intremap）（可选）
确认内核是否支持iommu
cat /proc/cmdline | grep iommu有输出则正常
如果没有输出，将intel_iommu=on添加到grub启动文件当中
编辑grub文件 ：
vim /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="intel_iommu=on crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet"
GRUB_DISABLE_RECOVERY="true"
重新生成内核
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
再次验证内核支持iommu
[root@localhost ~]# cat /proc/cmdline | grep iommu
BOOT_IMAGE=/vmlinuz-3.10.0-1127.19.1.el7.x86_64 root=/dev/mapper/centos-root ro intel_iommu=on crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet LANG=zh_CN.UTF-8
有输出即正常
验证VT-D是否启用
dmesg |grep -e DMAR -e IOMMU
ps:如果没有的开启的解决办法
https://www.jianshu.com/p/035287ba9acb
2.6.2禁用服务器上的RTX2080显卡驱动
#查看NVIDIA显卡设备
[root@localhost ~]# lspci -nnk | grep -i nvidia
86:00.0 VGA compatible controller [0300]: NVIDIA Corporation TU104 [GeForce RTX 2080 SUPER] [10de:1e81] (rev a1)
Subsystem: NVIDIA Corporation Device [10de:13a0]
86:00.1 Audio device [0403]: NVIDIA Corporation TU104 HD Audio Controller [10de:10f8] (rev a1)
Subsystem: NVIDIA Corporation Device [10de:13a0]
86:00.2 USB controller [0c03]: NVIDIA Corporation TU104 USB 3.1 Host Controller [10de:1ad8] (rev a1)
Subsystem: NVIDIA Corporation Device [10de:13a0]
86:00.3 Serial bus controller [0c80]: NVIDIA Corporation TU104 USB Type-C UCSI Controller [10de:1ad9] (rev a1)
Subsystem: NVIDIA Corporation Device [10de:13a0]
#根据上面显示的显卡设备编号，查看显卡驱动
lspci -vv -s 86:00.0 | grep driver
lspci -vv -s 86:00.1 | grep driver
lspci -vv -s 86:00.2 | grep driver
lspci -vv -s 86:00.3 | grep driver
#显示有3个驱动nouveau，snd_hda_intel，xhci_hcd
在服务器主机上禁用显卡设备
vi /etc/modprobe.d/blacklist.conf
添加
blacklist nouveau
blacklist snd_hda_intel
blacklist xhci_hcd
vim /usr/lib/modprobe.d/dist-blacklist.conf
加上一行options nouveau modeset=0
PS：其他情况可能还需要去掉禁用另外一张显卡，我这里没有去掉
备份原来的 initramfs nouveau image镜像
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img
创建新的 initramfs image镜像
dracut /boot/initramfs-$(uname -r).img $(uname -r)
2.6.3显卡加载vfio驱动
加载vfio模块
modprobe vfio
modprobe vfio-pci
从服务器卸载4个显卡设备
virsh nodedev-detach pci_0000_86_00_0
virsh nodedev-detach pci_0000_86_00_1
virsh nodedev-detach pci_0000_86_00_2
virsh nodedev-detach pci_0000_86_00_3
验证显卡设备是否加载vfio-pci驱动,加载成功
[root@localhost ~]# lspci -vv -s 86:00.0 | grep driver
Kernel driver in use: vfio-pci
[root@localhost ~]# lspci -vv -s 86:00.1 | grep driver
Kernel driver in use: vfio-pci
[root@localhost ~]# lspci -vv -s 86:00.2 | grep driver
Kernel driver in use: vfio-pci
[root@localhost ~]# lspci -vv -s 86:00.3 | grep driver
Kernel driver in use: vfio-pci
2.6.4 win10虚拟机添加NVDIA显卡
同时可以添加服务器的USB设备直通
ps：需要另外配置下，参考链接
https://www.it610.com/article/1297569124670578688.htm
添加后，关机重启
三、显卡驱动安装
要安装显卡驱动，需要修改虚拟机win10的配置文件
否则显卡驱动安装过程中自检会报错ERROR CODE 43，驱动不允许安装在虚拟机上。
#编辑VM XML
virsh edit win 10
#修改第一行
#为
#找到节点，添加内容
...
...
#找到节点，在device后添加内容
#重启VM
virsh destroy win10
virsh start win10
重启即可安装驱动
AID64测试