GPU显存老是溢出的问题

最近在跑实验的时候，遇到模型训练到一定step，GPU memory溢出的问题，刚开始想调batch size，从96->48->24，一方面还是会溢出，另一方面训练的时间会成倍数地增加，目前用的是6张GPU进行训练，即DUDA_VISIABLE_DEVICES = 0,1,2,3,4,5

解决思路：
第一个问题是为什么模型会跑着跑着中途显存溢出？

显存占用主要存在于数据输入，模型参数，中间变量以及pytorch自身消耗，模型参数根据不同的优化器可能会有倍数增加，因为涉及到梯度回传，比如adam最终内存消耗一般是参数的4倍。

关于显存溢出：https://www.jianshu.com/p/28581e8ee6c7
显存去哪儿了？http://www.aibbt.com/a/44242.html?from=groupmessage

监测显存变化：watch -n 1 nvidia-smi

优化方式
（1）model里面不过多引入中间变量
（2）临时变量及时del
（3）小心自己模型里面写的for循环，对于不依赖于i的操作，提至循环外
（4）部分语句
hidden_tmp = (hidden @ self.weight_W_a).unsqueeze(1).repeat(1,steps,1) 变为
hidden_tmp = (hidden @ self.weight_W_a)[:,None,:]
（5）对于改动LSTM，for循环里面调用nn.LSTMCell rather than nn.LSTM