网络训练时出现loss为nan的情况(已解决)

最近在使用SSD网络跑自己的数据集时，训练刚开始就出现loss=nan值的情况，经过多方查找资料，发现训练过程中loss出现nan值时，一般是下列问题导致的：

1. 数据集的问题，可能存在数据本身就存在nan值，或者标注box的坐标不符合要求，比如xmax

2. 网络结构的问题，可能网络本身设计不合理，如果是直接使用的开源代码，应该不会出现这个问题。

3. 学习率设置过高，可以设置不同的且相差较大的学习率来观察loss的变化，如果无论学习率如何变，loss始终还是nan值，可能就不是这个问题。

4. 损失函数的问题，我的代码中就出现了这个问题。

5. 可能有些除以0，log 0等操作会导致NAN（参考）

我做的是缺陷检测，训练集上大部分都是正常样本，所以在训练计算损失时，有些批次一个正样本都没有，导致中间会出现除以0的情况，所以导致loss为nan。
希望我的学习记录能够帮到你。