错误 NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. 解决方案

服务器重启了，当我再次跑实验时，发现cuda不可用，于是输入nvidia-smi才发现了一个错误，如下：

      NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver

这是由于重启服务器，linux内核升级导致的，由于linux内核升级，之前的Nvidia驱动就不匹配连接了，但是此时Nvidia驱动还在，可以通过命令 nvcc -V 找到答案。

解决方案

1、 查看当前驱动版本

ls /usr/src/ | grep nvidia，字符串中nvidia- 后面的部分都是驱动版本

 2、执行命令

sudo apt-get install dkms

sudo dkms install -m nvidia -v 525.60.11

 

3、再次 nvidia-smi，发现可以了