cuda程序常见异常汇总

1.CUDA out of memory跑cuda 程序遇到下面错误：

RuntimeError: CUDA out of memory.
Tried to allocate 588.00 MiB (GPU 0;
11.00 GiB total capacity; 8.97 GiB
already allocated; 190.44 MiB free;
9.00 GiB reserved in total by PyTorch)

运行程序之前，使用nvidia-smi 查看显存有没有被占用，如果有被占用5M以上，可能是显存没有被释放。通过如下命令来释放显存。

linux上使用命令行，云主机可以重启电脑

fuser -k /dev/nvidia* 或者 kill $(lsof -t /dev/nvidia*)

2.减小batch size。

3.更换更大显存的云主机。