随着数字货币的价格走高,显卡在挖矿需求的推动下价格日益走高。那么有没有办法让现有的图形工作站虚拟化,供多个人使用呢?一方面实现资源共享,降低成本,另一方面也可以实现信息安全和保密需求。桌面云和GPU虚拟化技术为使实现工作站虚拟化成为可能。
本文介绍了使用Proxmox + DoraCloud 实现 Dell T3640工作站虚拟化的过程。经过改造的工作站,可以支持8个虚拟桌面,每个虚拟桌面可以分配到1G显存的vGPU。
T3640配置为: i7-10700,64G内存,1TB NVME,Tesla P4-8G 显卡
Proxmox virtualization environment,简称PVE,是一个开源免费的基于linux的企业级虚拟化方案,功能不输专业收费的VMware。简单的说,PVE是一个基于Debian的linux系统,内置了一套虚拟机管理工具,并提供了web管理页面,让我们可以非常简单的通过网页管理虚拟机。
DoraCloud是一套多平台、一体化、分布式的桌面虚拟化方案。基于开放架构,支持多种虚拟化平台(Hyper-V,VMware,Proxmox,XenServer),多种桌面协议(RDP,PCoIP,SPICE)。采用All-in-One的设计模式和虚拟设备的部署方式。
NVIDIA Tesla P4单精度运算能力将达到5.5FLOPS,每秒可进行22万亿次计算,其拥有2560个流处理器,搭配8GB GDDR5显存。
本文描述在服务器上部署 Proxmox、DoraCloud,并创建带有vGPU的虚拟桌面的过程。
1、下载安装Proxmox 7.1.2
推荐中科大( USTC)的源下载 ISO,然后使用 rufus 制作 启动U盘。
https://mirrors.ustc.edu.cn/proxmox/iso/
2、修改中科大源,更新
替换中科大的源,更新升级系统。
cp /etc/apt/sources.list /etc/apt/sources.list.backupsed -i's|^deb http://ftp.debian.org|deb https://mirrors.ustc.edu.cn|g'/etc/apt/sources.listsed -i's|^deb http://security.debian.org|deb https://mirrors.ustc.edu.cn/debian-security|g'/etc/apt/sources.listmv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bakCODENAME=`cat /etc/os-release|grep PRETTY_NAME|cut -f2-d"("|cut -f1-d")"`echo"deb https://mirrors.ustc.edu.cn/proxmox/debian $CODENAME pve-no-subscription"> /etc/apt/sources.list.d/pve-no-subscription.list#更新apt update&&apt dist-upgrade -y
安装DKMS 依赖包
#安装 DKMS 依赖包apt install pve-headers dkms -y
3、启用 IOMMU
服务器为Intel 处理器,通过如下脚本启用IOMMU,如果是AMD处理器,配置有差异。
# 复制如下脚本,启用IO-MMU# /etc/default/grub 的GRUB_CMDLINE_LINUX_DEFAULT,增加 intel_iommu=on iommu=ptsed -i 's/GRUB_CMDLINE_LINUX_DEFAULT="quiet"/GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"/g' /etc/default/grubupdate-grub# 加载 vfio vfio_iommu_type1 vfio_pci vfio_virqfd 4个Modulesecho vfio >> /etc/modulesecho vfio_iommu_type1 >> /etc/modulesecho vfio_pci >> /etc/modulesecho vfio_virqfd >> /etc/modulesecho "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.confecho "options kvm ignore_msrs=1" > /etc/modprobe.d/kvm.confecho "blacklist nouveau" >> /etc/modprobe.d/blacklist.confupdate-initramfs -ureboot
执行完毕脚本,会自动重启服务器,然后查看日志,确认 IOMMU已经启用。
root@pveserver:~# dmesg | grep -e DMAR -e IOMMU
[ 0.000000] ACPI: DMAR 0x0000000079A48648 0000A8 (v01 INTEL EDK2 00000002 01000013)
[ 0.000000] DMAR: IOMMU enabled
[ 0.004000] DMAR: Host address width 39
[ 0.004000] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[ 0.004000] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap 1c0000c40660462 ecap 19e2ff0505e
[ 0.004000] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[ 0.004000] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008c40660462 ecap f050da
4、安装DKMS 和 NVIDIA 内核驱动程序
#下载nvidia 驱动wgethttp://www1.deskpool.com:9000/software/NVIDIA-Linux-x86_64-470.82-vgpu-kvm.runchmod+x NVIDIA-Linux-x86_64-470.82-vgpu-kvm.run
#安装驱动
./NVIDIA-Linux-x86_64-470.82-vgpu-kvm.run -dkms
NVIDIA 驱动安装成功后,运行如下命令,重启Proxmox 服务器。
systemctl daemon-reload
reboot
系统启动后,检查日志,确认 vgpu 驱动已经启动。 可以看到不同类型的vGPU ,后续计划为桌面配置的vGPU TYPE为 0x3f(十进制63),型号为P4-1Q
root@pveserver:~# cat /var/log/syslog |grep P4
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x47: GRID P4-1B Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x3f: GRID P4-1Q Class: Quadro
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x40: GRID P4-2Q Class: Quadro
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x41: GRID P4-4Q Class: Quadro
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x42: GRID P4-8Q Class: Quadro
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x43: GRID P4-1A Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x44: GRID P4-2A Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x45: GRID P4-4A Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x46: GRID P4-8A Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x9d: GRID P4-2B Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0xd6: GRID P4-2B4 Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0xf3: GRID P4-1B4 Class: NVS
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x121: GRID P4-8C Class: Compute
Nov 22 21:29:17 pveserver nvidia-vgpud: VGPU Type 0x120: GRID P4-4C Class: Compute
5、部署 DoraCloud
为了验证vGPU效果,我们在Proxmox 上部署DoraCloud。可以采用如下脚本在线安装 DoraCloud
cd /var/lib/vz/dump; wget -qO- https://dl.doracloud.cn/dpinstall.pl --referer https://doracloud.cn | perl
重启完毕后,然后浏览器登录 DoraCloud 管理后台,输入 账号 admin DoraCloud,登录后台。
根据配置向导,完成DoraCloud的初始化配置。
接下来,我们下载支持vGPU的桌面模板。 win10LTSC2019GPU。
然后创建桌面池,选择 win10LTSC2019GPU这个模板。 GPU型号选择 NVIDIA P4,vGPU类型选择 GRID P4-1Q
配置桌面池内创建4个桌面。然后设置桌面池的绑定账号为 administrator 123456 。这样账号是windows7x64模板的Windows 账号。
启用绑定账号后,终端可以识别这个绑定账号,登陆桌面windows。
桌面创建完毕后,可以在PVE中查看桌面虚拟的硬件配置,确认桌面虚拟机正常配置了 PCI device。
接下来回到DoraCloud管理后台,添加用户,为用户分配桌面池。
6、登录桌面,验证vGPU效果
DoraCloud有多种登录方式,我们选择网页登录DoraCloud,输入用户账号 user01,密码123456。 然后打开一个 RDP 文件,输入管理员账号 administrator 123456,即可登录 windows 桌面。
进入桌面后,通过dxdiag,查看系统的显卡,显示为 NVIDIA GRID P4-1Q。
接下来,可以进行3D性能的测试了。 推荐两个在线测试的网站。
基于WebGL的水母 https://akirodic.com/p/jellyfish/
基于WebGL的网页游戏 https://www.crazygames.com/