[解决办法] Linux 服务器进程退出了，但是显存占用

[问题描述]

在Linux服务器上跑Caffe、TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用

[解决办法]

使用如下命令查看到top或者ps中看不到的进程，之后再kill掉：

fuser -v /dev/nvidia*

接着杀掉显示出的进程（有多个）：

kill -9 12345
kill -9 123456

批量清理显卡中残留进程：

sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

清理指定GPU显卡中残留进程，如GPU 2：

sudo fuser -v /dev/nvidia2 |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh

参考：
1.Linux显存占用无进程清理方法（附批量清理命令）
2.如何解决python进程被kill掉后GPU显存不释放的问题
3.Linux显存占用无进程清理方法