基于ubuntu16.04 +kvm+libvirt+pci实现

安装之前需要有个ubuntu系统，参考链接，分区时候可以将/var目录占用空间分配大一点，后续虚机镜像占用空间较大。
https://www.jb51.net/os/491038.html

安装环境检测(本次安装在Ubuntu 16.04)

lsb_release –a

image.png

uname –a

image.png

安装libvirt和QEMU

sudo apt-get update -y

image.png

sudo apt-get install libvirt-bin libvirt-dev qemu-utils qemu

image.png

重启libvirt

sudo /etc/init.d/libvirt-bin restart

验证libvirt安装情况

libvirtd --version

image.png

增加用户到lbvirtd用户组

sudo addgroup libvirtd

image.png

sudo usermod -a -G libvirtd USERNAME

image.png

确定Linux kernel 和BIOS设置允许KVM 硬件加速使用

kvm-ok

image.png

安装Vagrant，libvirt必须在安装Vagrant前成功安装

下载Vagrant安装包（2.0.2）版本会有libvirt下载失败，ruby版本低问题。需要下载一个高版本的Vagrant

image.png

wget https://releases.hashicorp.com/vagrant/2.2.14/vagrant_2.2.14_x86_64.deb

用dpkg安装Vagrant

sudo dpkg -i vagrant_2.2.14_x86_64.deb

验证Vagrant版本

vagrant --version

输出如下信息，至此Vagrant安装成功

image.png

确认环境

确认/boot/config-XXXX文件中与VFIO相关参数设置为y或者m。其中比较重要的是VGA、IOMMU相关参数

image.png

image.png

确认IOMMU开启，也就是BIOS与IOMMU相关选项打开 （Intel VT-d或者 AMD IOV）

dmesg | grep IOMMU

image.png

确认CPU支持硬件虚拟化，有内容输入即可

egrep -o '(vmx|svm)' /proc/cpuinfo

image.png

查看kvm内核模块是否已加载

lsmod | grep kvm

IOMMU 开启

image.png

编辑/etc/default/grub 中GRUB_CMDLINE_LINUX_DEFAULT 参数，将intel_iommu=on添加在行尾，使用sudo update-grub来更新grub文件

image.png

屏蔽Nouveau 驱动

编辑/etc/modproble.d/blacklist.conf文件，加入如下内容：

blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau offenter code here

image.png

然后运行以下命令禁用nouveau内核

echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf
update-initramfs -u

image.png

重启之后，使用dmesg | grep nouveau查看，如果没有输出则成功禁止。

image.png

确认Passthrough的设备

使用lspci –nn | grep NVIDIA列出所有PCI设备和他们的地址，记录下GPU ids为[10de:1bb3]

记录下显卡的PCI地址信息[机器有四块P4显卡，记录下PCI地址信息分别为02:00.0、03:00.0、83:00.0、84:00.0。注意：地址信息为16进制形式，后续Vagrantfile建立虚拟机时会用到这些信息，请记住！！！]

image.png

查看这两个设备属于的IOMMU组，find /sys/kernel/iommu_groups/ -type l 。（如果没有显示任何内容，请确认BIOS中相应Intel VT 或 AMD IOV打开与否）查找之前记录的GPU IDS，属于group1。 如果在该组中化存在其他设备需要为kernel添加ACS Patch，相应的方法参见链接[1]。如果只有一个组，则进行下一步。

配置PCI IDS

首先创建/etc/modprobe.d/vfio.conf文件，将相应的GPU PCI IDs 添加进去options vfio-pci ids=10de:1bb3

image.png

然后编辑/etc/default/grub 中GRUB_CMDLINE_LINUX参数，将vfio-pci.ids=10de:1bb3添加在行位

image.png

使用sudo update-grub来更新grub文件。

qemu 配置文件中开启passthrough

编辑 /etc/libvirt/qemu.conf
取消改行的注释
nvram = [ "/usr/share/OVMF/OVMF_CODE.fd:/usr/share/OVMF/OVMF_VARS.fd"
]

image.png

重启查看配置
查看vfio-pci.ids 是否设置成功dmesg | grep vfio-pci.ids

image.png

查看vfio相关模块是否加载成功，lsmod | grep vfio

image.png

查看GPU驱动是否为vfio-pci（lspci -vv）

image.png

将vfio相关模块添加到initrd

编辑文件/etc/initramfs-tools/modules
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

image.png

保存，并且更新initrd
update-initramfs -u

image.png

Vagrantfile构建虚拟机

创建Vagrantfile如下：（本例构建4个centos7.4虚拟机，每个虚拟机分配一块显卡，显卡分配方式根据前面记录的PCI的16进制地址进行。Centos7.4的box需要提前下载）

image.png

vagrant plugin install vagrant-libvirt
执行vagrant up

image.png

使用vagrant status查看状态

image.png

进入虚拟机安装修改DNS

vi /etc/sysconfig/network-scripts/ifcfg-ethxx---确保自己的IP是正确的

image.png

如果虚机空间不够，可以设置同步目录，共享宿主机目录

image.png

进入虚拟机安装显卡驱动

关闭防火墙和SELinux
systemctl stop firewalld;
systemctl disable firewalld;
vim /etc/sysconfig/selinux
修改成SELINUX=disabled
 重启服务器
如下图所示 表示SElinux已经关闭：

image.png

使用之前的脚本进行内核升级，然后驱动安装

image.png

yum -y install createrepo

image.png

yum install nginx

image.png

image.png

image.png

执行完成后，重启操作
进行gpu环境检查

image.png

安装wget http://mirror.centos.org/centos/7/os/x86_64/Packages/pciutils-3.5.1-3.el7.x86_64.rpm

image.png

进行安装

image.png

安装*/lspci

image.png

image.png

进行nouveau禁用
vi nvidia-installer-disable-nouveau.conf

image.png

image.png

image.png

image.png

image.png