RuntimeError: CUDA error: out of memoryCUDA kernel errors

当出现报错

 

RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

使用

nvidia-smi

 查看当前服务器占用情况

RuntimeError: CUDA error: out of memoryCUDA kernel errors_第1张图片

上图中3号服务器还有剩余位置,因此使用以下方法即可运行

CUDA_VISIBLE_DEVICES=3 python core/train.py --config configs/celeba-hq.yaml --gpus 0

注意:是 CUDA_VISIBLE_DEVICES=3+你的代码

如果遇到第三列都很满的情况,则看第二列

RuntimeError: CUDA error: out of memoryCUDA kernel errors_第2张图片

上图中GPU2的占用情况为88%,但是memory-usage是8893/32510,所以可以试试能不能用。一般情况是可以的,但是会比较慢,因为有别人在跑 

你可能感兴趣的:(linux,运维,服务器)