【linux】nvidia-smi 查看GPU使用率100%

linux服务器下使用

nvidia-smi   
or nvidia-smi -l 1【数字表示输出间隔】
or watch -n 1 nvidia-smi  

命令查看GPU使用情况，三种情况

1、没有进程，GPU使用率为空

这种情况表示，没有进程占用GPU资源，属于为空的正常状态

2、有进程，GPU使用率在变化

我们如果想要终止进程

ps -ef|grep python

kill -9 58828  # 58828是该进程id

当然，也可以杀死所有python进程

killall -9 python

以前写的博客有以上教程，戳我进入。

3、看不到进程，但是GPU使用率100%

博主今天就遇到了这种情况，这种情况是不正常的，因此需要将GPU释放掉，不然的话，我无法使用GPU训练模型。

我先用

kill -9 2001

命令后，查看GPU使用情况：

进程是杀死了，但是GPU占用率还是100%

从网上找到了以下方法：

方法1：
使用

nvidia-smi -pm 1

命令，将驱动模式设置为常驻内存。

但是好像不管用，不知道什么原因。。。只能另寻其他方法

方法2：

使用命令：

fuser -v /dev/nvidia*

使用命令杀死进程：

kill -9 65051 65052 65053 65054

GPU占用率都为0%，问题解决。

参考：

https://blog.csdn.net/sinat_28750977/article/details/80117313

https://blog.csdn.net/gostman/article/details/107456597