【无标题】

 报错：RuntimeError: CUDA out of memory. Tried to allocate 560.00 MiB (GPU 0; 23.70 GiB total capacity; 3.57 MiB already allocated; 516.56 MiB free; 4.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

查看显存:

nvidia-smi 

显存被占用，但是看不到进程名

1.使用下面的命令，查看详细的pid进程号和占用的显存

nvidia-smi --query-compute-apps=pid,used_memory --format=csv

 

 2.sudo kill pid，kill指定pid进程，本文案例为60547，则为以下命令

sudo kill 60547

或者直接执行以下命令

fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件
awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID
执行前面生成的命令

sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

参考：

【解决】GPU占用显存，但看不到PID进程-CSDN博客