解决Nvidia-smi没有进程但是显存不释放的问题

**

Nvidia显存占用问题

**
程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？

这是因为使用PyTorch设置多线程进行数据读取，其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下：

使用以下命令发现僵尸进程：

fuser -v /dev/nvidia*

然后使用 kill -9 pid 杀死僵尸进程，当僵尸进程比较多时，上述命令重复输入显得非常繁琐，使用下属命令一句话杀死所有进程：

fuser -v /dev/nvidia* |awk ‘{for(i=1;i<=NF;i++)print "kill -9 " $i;}’ | sh

如果需要权限，命令更改如下：

sudo fuser -v /dev/nvidia* |awk ‘{for(i=1;i<=NF;i++)print "kill -9 " $i;}’ | sh

再次输入 nvidia-smi 发现内存释放：