RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously问题解决

程序本来跑的好好的，但是某一次跑忽然报错

RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.

我的情况：程序本来跑的好好的，代码没有问题，显存还都没用，且显存充足

查到的报此错问题大都在要用的那块GPU被占用，此时问题解决方法为指明要用的、空闲的GPU序号

但是我的问题不在此，问题在GPU发生未知错误，只能多次重启+尝试重新运行，直到程序可以运行。