模型训练过程中出现Nan该怎么办？

导

语

在深度学习模型训练过程中，有时会出现损失值为Nan的情况。那么在训练过程中发生Nan的最常见原因是什么？其次，有什么方法可以解决这个问题？

---

1-无效输入

---

原因：输入中包含Nan或者输入为空，对于图像而言输入为损坏的图片。

检查方法：使用python的异常检测机制对数据进行合格检测

解决方法：修改代码满足输入为有效的数据，比如在检查过程中先删除受损的图片。

---

2-损失函数

---

原因：有时损耗函数的计算会导致Nan的出现。例如给InfogainLoss层提供非归一化的值或者使用有bug的自定义损失层等。

检查方法：了解损失函数对数据输入的格式及数据范围要求，仔细检查代码实现。

解决方法：修改损失函数的代码bug

---

3-梯度爆炸

---

原因：梯度爆炸会使模型发散，因此损失值出现Nan。

检查方法：查看程序运行日志，查找每次模型迭代时打印的损失值。一般在出现Nan前，损失值在某次迭代后开始显着增长，最终损失将太大而无法用浮点变量表示，它将变为Nan。

解决方法：将初始学习率比之前减少一个数量级或者更多。如果模型有多个损失项，则应检查日志以了解哪项导致梯度爆炸，然后减少该特定项的损失权重（loss_weight）。

END

关注公众号：实用AI客栈
获取最新AI资讯与实战案例
小编微信号 : langu86