深度学习 loss 是nan的可能原因

1 loss 损失值非常大,超过了浮点数的范围,所以表示为overflow 状态下的男。

解决办法:

减小学习率,观察loss值是不是还是nan

在将数据输入模型前,进行恰当的归一化 缩放

2 loss 的计算中存在除以0, log(0) 的情况, 需要检查是不是有这样的情况出现。

一般情况下loss 不应该是nan或者0。

深度学习 loss 是nan的可能原因_第1张图片

你可能感兴趣的:(深度学习,机器学习,debug,深度学习,人工智能)