Ubuntu上出现OOM

本来以为服务器上不会出现内存不够的情况,看来还是我低估了数据量啊,怎么解决呢,在没有办法增加GPU 资源的情况下,只能减小你的batch_size了,减到了8勉强能跑通。

Ubuntu上出现OOM_第1张图片

这个batchsize调节有什么作用呢:在合理范围内,增大 Batch_Size 有何好处?

内存利用率提高了,大矩阵乘法的并行化效率提高。

跑完一次 epoch(全数据集)所需的迭代次数减少,对于相同数据量的处理速度进一步加快。

在一定范围内,一般来说 Batch_Size 越大,其确定的下降方向越准,引起训练震荡越小。

盲目增大 Batch_Size 有何坏处?

内存利用率提高了,但是内存容量可能撑不住了。

跑完一次 epoch(全数据集)所需的迭代次数减少,要想达到相同的精度,其所花费的时间大大增加了,从而对参数的修正也就显得更加缓慢。

Batch_Size 增大到一定程度,其确定的下降方向已经基本不再变化。

嗯,以上是我从知乎上的一个答案里看到的,复制过来自己学习!!希望作者不要看到(偷笑)

你可能感兴趣的:(Ubuntu上出现OOM)