pytorch半精度训练时出现nan的情况

最近在训练bert模型的时候，因为gpu内存不足，就想着用半精度训练的方式来降低内存占用，加速训练，但是训练几百个batch之后，就出现模型输出为nan的情况，但是之前用单精度float32训练的时候就没出现过这个问题。
一点点去查看之后，发现是在某个batch更新之后，模型embedding层的权重参数变成了nan，在网上查了一些资料之后终于解决这个问题了，这里记录一下：
１.由于我的优化器使用的是adam算法，在用半精度训练的时候需要torch.optim.Adam中加入参数eps=1e-3，否则就有可能出现nan的情况。但是用SGD就没这个问题，另外如果使用的是RMSprop算法时，需要加入参数eps=1e-2
２.但是我在adam算法中加入eps参数之后，还是会出现nan，这个时候我把学习率调低就解决了。

这里仅仅列出我训练时遇到的问题，供参考

参考：https://blog.csdn.net/one_six_mix/article/details/86367086