pytorch半精度训练时出现nan的情况

最近在训练bert模型的时候,因为gpu内存不足,就想着用半精度训练的方式来降低内存占用,加速训练,但是训练几百个batch之后,就出现模型输出为nan的情况,但是之前用单精度float32训练的时候就没出现过这个问题。
一点点去查看之后,发现是在某个batch更新之后,模型embedding层的权重参数变成了nan,在网上查了一些资料之后终于解决这个问题了,这里记录一下:
1.由于我的优化器使用的是adam算法,在用半精度训练的时候需要torch.optim.Adam中加入参数eps=1e-3,否则就有可能出现nan的情况。但是用SGD就没这个问题,另外如果使用的是RMSprop算法时,需要加入参数eps=1e-2
2.但是我在adam算法中加入eps参数之后,还是会出现nan,这个时候我把学习率调低就解决了。

这里仅仅列出我训练时遇到的问题,供参考

参考:https://blog.csdn.net/one_six_mix/article/details/86367086

你可能感兴趣的:(pytorch,pytorch,深度学习,机器学习)