ubuntu释放显卡内存

在服务器上跑深度学习代码时,构造了一个(256,100,100)的张量,但显示

Resource exhausted: OOM when allocating tensor with shape[600] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc

一开始以为是因为batch_size设置为128太大,但减小到32后还是不行,用nvidia-smi -l 实时显示显卡信息:

ubuntu释放显卡内存_第1张图片

明明没有程序在跑,但memory-usage快满了,用fuser -v /dev/nvidia*查看进程,用 kill -9 PID 释放进程,最后memory usage终于为0了,在原来batch size为128的情况下也是可以跑的

nvidia-smi表格中显示的信息:

ubuntu释放显卡内存_第2张图片

 

你可能感兴趣的:(ubuntu释放显卡内存)