Windows程序意外挂掉，但显存依然被占用

1.软件环境

Windows10 教育版64位
Tensorflow-GPU 2.3.0
Keras 2.4.3
CUDA 10.1

2.问题描述

在使用Tensorflow进行模型训练时，很有可能会因为batch_size设置太大或者样本分辨率太大导致OOM（Out Of Memory）。
像这样：

这样：

这个时候程序已经挂掉退出了，此时如果你运行任何要占用显存的程序很可能会引发OOM！这个时候使用工具查看显存居然没有被释放，依然被程序占用达到95%：

任务管理查看显存被占用，也是一样的情况：

这就导致了我们无法运行任何占用显存的程序，也没法重新进行模型的训练！
Linux系统下可以使用fuser命令或者ps命令找到占用显存的程序，使用kill命令将其关闭即可，具体可以参考如下博客，在此不赘述：

1. 解决GPU显存未释放问题
2. 进程已死，显存还在被占用(无fuser命令)

重点是：Windows系统没有fuser命令或者ps命令可用，那这个时候又该怎么办呢？

3.解决方法

首先，重启肯定可以解决问题，但是有的时候电脑还真不能随便重启，比如：

1. 你的电脑是服务器，随便重启就意味着宕机，特别是软、硬件比较复杂的机器，特别是你的系统盘还是机械硬盘。这个时候，开机自检都要等好一会儿，这就造成了服务的不可用；
2. 有重要的工作没有保存，即使能够保存也丢失了撤销每一步操作的可能。如你在写Word，你在写代码，保存就意味着ctrl+z没法用了；
3. 每次遇到问题都用重启回避的话，问题一直没有解决，为什么不直接面对问题本身呢？
4. ·······

那么，我们如何在不重启电脑的情况下，解决这个问题呢？接着往下看：

3.1.查找当前占用显存的程序

首先，我们使用nvidia-smi命令，查找到目前使用显存的程序：

可以看到，最有嫌疑的程序就是当前虚拟环境中的python.exe，我们尝试将其关闭。

3.2.关闭显存占用程序

打开任务管理器，查看是否有python.exe相关的进程，遗憾的是并没有~~，pycharm下也没有python.exe进程：

那么怎么找到这个进程呢？
打开任务管理器→性能→资源监视器→CPU，在关联的句柄中输入python，可以看到python.exe已经被我们找到了：

这不就是我们的程序工作路径吗？？？？，那应该就是它搞的鬼，没得跑了！
此时，只需要右键该进程，选择结束进程即可！

4.结果预览

通过命令查看，显存已经被释放了：

自然就可以运行新的模型训练脚本了！

都看到这里了，还不赶紧点赞，评论，收藏走一波？