方法-进程已经杀死但是显存还未释放怎么办(ubuntu)

本专栏为深度学习的一些技巧,方法和实验测试,偏向于实际应用,后续不断更新,感兴趣童鞋可关,方便后续推送

现象

训练程序ctrl+c后,依然显示显存占用
nvidia-smi
Mon Dec 6 14:26:33 2021
±----------------------------------------------------------------------------+
| NVIDIA-SMI 450.80.02 Driver Version: 450.80.02 CUDA Version: 11.0 |
|-------------------------------±---------------------±---------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=++==============|
| 0 TITAN V Off | 00000000:04:00.0 Off | N/A |
| 34% 42C P8 26W / 250W | 9575MiB / 12066MiB | 0% Default |
| | | N/A |
±------------------------------±---------------------±---------------------+
| 1 TITAN V Off | 00000000:05:00.0 Off | N/A |
| 35% 45C P8 28W / 250W | 8503MiB / 12066MiB | 0% Default |
| | | N/A |
±------------------------------±---------------------±---------------------+

解决方法

##查看后台的训练进程

ps aux|grep python

杀死所有训练进程

killall  /home/xxx/anaconda3/envs/{你的虚拟环境}/bin/python