Loss变为NaN怎么办？

在训练网络的时候，当打印出的日志提示loss变为NaN的时候，是不是整个人都开始抓狂了？相信应该每个算法工程师都遇到过这个令人头秃的问题。
本文就是介绍如果遇到loss变成NaN时，如何快速的或者多方面排查原因。

一、训练数据有问题
比如数据集中就有某些特征的某些取值为NaN，或者label缺失。在一个iteration中batch数据如果没问题，loss正常显示；如果不凑巧，batch数据中恰好有NaN或者label缺失，loss就突然变为NaN了。
建议这一步作为排查问题时的Step1。

二、梯度爆炸
深度网络通常有多层网络级联，在梯度反向传播的过程中，会有连乘项。如果每一级的梯度都比较大，那么连乘后梯度就会变成一个极大的值，最终超出精度限制，造成溢出，出现NaN。
解决方法就是利用梯度裁剪。

三、学习率过大
为什么学习率过大可能会导致loss为NaN呢？因为学习率过大的话，每次参数更新步子迈得太大，loss直接不往极小值点走了，结果越更新离极小值点越远。

这就是所谓的loss发散。发散着发散着loss越来越大，就变为NaN了。

四、MathError
什么是MathError呢？就是那种除0操作，log(0)操作……
这些细节一定要注意，否则排查一天结果发现是这种错误，是不是想把自己锤烂……

五、数值计算溢出
这种类型的原因就比如softmax函数中需要计算exp(x)，当x过大时就会导致溢出，导致最终计算得到的结果是inf，最终的loss当然是NaN了。

以上，这些方法应该基本够用了。如果小伙伴们在日常学习工作中发现还有其它的原因，可以帮我补充补充知识哦~