TensorFlow出现Found Inf or NaN global norm的排查和解决办法

在训练神经网络的时候，由于一些原因会出现NaN或者Inf，致使训练终止。在查阅相关资料之后，并且结合我出现的问题，做了一些总结。出现的代码在TensorFlow 1.12.2版本可正常执行。

出现问题的原因

出现NaN或者Inf的原因一般可分为以下三种

1. 输入数据有错
2. 出现了运算错误，如除数为零，log0等
3. 梯度爆炸

输入数据有错

训练数据可能包含脏数据，在数据清洗时没有清洗干净，导致错误数据输入进模型。首先可以在输入模型前，使用np.any(np.isnan(data))来判断数据是否由nan。若没有，要考虑到数据的实际约束，如在我查阅资料时，看到有人输入数据包含最大值和最小值，但是错误数据的最大值和最小值反了，导致模型训练出错。这一部分要根据具体情况进行具体排查。

运算错误

检查模型中除法的分母是否为0，如果有0在结合实际情况进行修改。如果损失函数用到交叉熵，或者取log，也要注意0是否出现。如果判断出有0了，可以使用tf.clip_by_value对值进行限制。

梯度爆炸

常见于模型设计不好，或者模型本身的原因。如RNN易发生梯度爆炸，更换为LSTM可解决问题。或者模型采用了较大的学习速率，导致更新网络参数出现问题。

排查建议

最简单最方便的方法，首先调小学习速率，看看是否是由较高学习速率导致的。可以选择将学习速率降低一半， 或者降低一个数量级。在多次尝试之后，若不能解决问题，考虑其他情况。

检查运算错误，主要是有除法运算和取log的地方。判断是否有0出现，以及是否有0导致的问题，试着使用clip_by_value对数值进行限制。

最后，若还没有解决问题，再检查数据是否清洗干净。

另外，可以使用一些代码来辅助检查。在模型增加以下函数

如果怀疑模型在某个结点node出现了nan，则在模型中使用add_summary_var(node,name)。并且在模型的最后写上

同时在sess.run部分加入self.merged_inside。这样一旦出现NaN错误，TensorFlow会提醒出现问题的结点名称（名称即为上面函数中指定的name)。如果添加了多个，则会在第一次出现nan的地方报错，这样可以帮助我们找到问题所在。

本人在使用这种方法以后，发现在经过RNN之后出现了问题，判断可能是由于RNN导致的梯度爆炸。