Failed to initialize NVML: Driver/library version mismatch

做一个项目的时候,发现vscode一开始训练就报如下错误

RuntimeError: CUDA out of memory. Tried to allocate 916.00 MiB 
(GPU 0; 6.00 GiB total capacity; 4.47 GiB already allocated; 186.44 MiB free; 4.47 GiB reserved in total by PyTorch)

正常来说这是爆显存了,但是服务器并没有其他训练任务

于是利用nvidia-smi指令查看GPU使用情况,发现报错如下

Failed to initialize NVML: Driver/library version mismatch

这就说明不是显存爆了,网上查阅可能的原因是nvidia自动更新了,然后自动更新不完全,导致libnvidia和nvidia版本不一致。但是我不想去重装nvidia,于是尝试重启服务器解决,

利用指令下面指令重启

shotdown -r now

重启后再用nvidia-smi查看,问题解决

Failed to initialize NVML: Driver/library version mismatch_第1张图片

你可能感兴趣的:(报错处理,服务器,GPU,CUDA,nvidia)