VMware ESXI 5.5虚拟机测试：ESC4000G2服务器搭配K2及K10显卡

 

一．测试时间：

2018年4月20日 15:14:56

二．测试背景：

如题，ASUS ESC4000 G2服务器安装K2,K10显卡后，现有CONTOS6.5及CENTOS7.2开机均会出现卡住进不去系统的情况（见下图）（其实是驱动冲突引起的，可以解决）。经与服务器售后人员联系，得知此机型的推荐使用环境不是现有linux系统而是VMware esxi和xenserven 。刚好手头有vmware系统，就测试了在vmware 环境下2种显卡是否能识别和正常安装驱动。

 

6.5环境下卡住↓

 

7.2环境下卡住↓

 

 

三．测试结果

K2 K10显卡在vmware 客户端client下均可识别到。

显卡	vSGA共享模式	vDGA直通模式	备注
GRID K2	可用	可用
Tesla K10	官网无vmware驱动	可用

 

K2显卡用共享模式(VSGA)能安装驱动成功，K10显卡官网下载不到vmware配套驱动。在直通模式（VDGA）下，2种显卡可用，只需要禁用LINUX自带驱动即可。

 

四．测试过程

（1）

硬件环境:ASUS ESC4000G2 服务器一台。K2 K10显卡各2张

软件环境：vmware esxi 5.5 光盘版和客户端软件 VMware-viclient-all-5.5.0-1618071-5.5.exe

参考网址1：http://blog.51cto.com/dabei/1394323

参考网址2：http://blog.51cto.com/chenchunjia/1952675

NVIDIA 驱动程序下载： http://www.nvidia.cn/Download/index.aspx?lang=cn

 

（2）

VSGA 显卡共享模式 K2 有对应EXSI 5.5驱动，可以安装成功。K10无对应驱动，可识别，驱动没安装成功。

 

操作过程见参考网站，很详细了。不再赘述，此处仅记录实际操作命令

执行命令步骤记录：

1、下载驱动

 略

2、安装NVIDIA驱动

SSH连接主机后，使ESXi主机进入维护模式

# vim-cmd hostsvc/maintenance_mode_enter

# cd /vmfs/volumes/5ad4d811-11783f6c-058e-bcee7b0f75e0/

# cp NVIDIA-kepler-VMware_ESXi_5.5_Host_Driver_367.124

-1OEM.550.0.0.1331820.vib /var/log/vmware/

# cd /var/log/vmware/

# esxcli software vib install -v NVIDIA-kepler-VMware_ESXi_5.5_Host_Driver_367.124-1OEM.

550.0.0.1331820.vib

退出维护模式

# vim-cmd hostsvc/maintenance_mode_exit

检查驱动安装

# esxcli software vib list | grep NVIDIA

3、开启xorg服务

# /etc/init.d/xorg start

# /etc/init.d/xorg status

 

 

VDGA显卡直通模式

以K10显卡为例。配置方式如下。

首先BIOS 设置：开启VT-D 模式，默认即为开启，其他选项也默认。登录ESXI主机，开启直通模式（配置-高级设置-配置直通），勾选显卡，之后重启服务器。

 

新建虚拟机，名字随便起，设置完成编辑虚拟机，添加硬件-PCI设备，可多次选择全部添加进去。

 

 

 记得在资源-内存页面-勾选全部锁定

 

配置完毕启动虚拟机，多显卡时出现如下错误提示，需要更改虚拟机配置文件

 

按照提示下载虚拟机配置文件并在最后添加1行pciHole.start = "1792"，然后备份好重新上传。

 

启动正常，安装centos 6.5系统

 

 

 

 

出现错误提示：Nouveau kernel driver 这个驱动正在被系统使用,这个驱动和Nvidia驱动冲突,要想继续安装,则必须禁用此驱动

 

1.打开/etc/modprobe.d/50-blacklist.conf，在里面添加一条：

echo "blacklist nouveau" >> /etc/modprobe.d/50-blacklist.conf

2 在 /boot/grub/grub.conf 里加上 nouveau.modeset=0 参数，以禁止 nouveau KMS 的使用。如果是PAE的内核，则还需要添加 vmalloc=256m 这个参数:

# vi /boot/grub/grub.conf

＃修改以下行禁止 nouveau KMS 的使用 kernel /vmlinuz-2.6.32.9-70.fc12.i686.PAE ro root=/dev/mapper/volumeGroup-Root LANG= zh_CN.UTF-8 KEYBOARDTYPE=pc KEYTABLE=us rhgb quiet nouveau.modeset=0 vmalloc=256m

3.重启系统再次装nvidia官网下的驱动就OK了

 

 

若多张卡进系统卡死，需要先用单张卡进系统，装好驱动，改好内核后再添加其余卡。

 

 

启发：

既然VMware下用VDGA模式修改启动参数，禁用原linux自带驱动后显卡可用，那么不用VMware直接在linux系统下进行此项操作应该也是可以的。经过测试，该方法可行。