OOM in keras

问题描述：

使用keras搭建siamese网络时，遇到错误如下：

 OOM when allocating tensor with shape[129024,4096] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc     [[Node: dense_1/kernel/Assign = Assign[T=DT_FLOAT, _class=["loc:@dense_1/kernel"], use_locking=true, validate_shape=true, _device="/job:localhost/replica:0/task:0/device:GPU:0"](dense_1/kernel, dense_1/kernel/cond/Merge)]]  Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

经查阅资料认为是内存不足。故修改batch_size，修改原始数据集样本对的生成方式。均无效。

经过仔细思考认为应该不是内存不足（原始数据集600M），而我是在服务器（内存128g）上运行，且服务器上没有其他人在使用。在程序运行期间使用top指令观察了服务器的内存使用情况，free部分一直有100g以上。排除内存不足的情况。

考虑可能显存不足（关于内存和显存的具体区别和使用不甚了解，请大家不吝赐教）。仔细阅读了错误日志（以后不能只关注Traceback 部分，Caused by更重要！！！）

发现是由于全连接层的参数太多导致显存不够（[129024,4096] ），确实太多。设计网络的时候疏忽了。

tip: 关于OOM 导致的错误，最重要的是定位到导致OOM的那行代码！！！

具体可以通过仔细阅读错误日志、在程序中设置标记（可能的地方print标记一下）。某师兄由于动态数组分配问题导致OOM，最后通过设置标记解决。

重新修改网络结构后，模型在16g内存的机器上顺利运行。