深度学习模型中出现loss nan解决办法

1 脏数据,输入中可能有nan
去除脏数据
2 梯度爆炸
gradient_clipping,学习率减小,batch_size减小
3 网络结构不合理
4 归一化
减均值,除方差,bn, L1, L2
5 在loss函数某个位置添加1e-10
6 不恰当的损失函数
7 更换参数初始化方法(对于CNN,一般用xavier或者msra的初始化方法)

你可能感兴趣的:(遇到的问题,深度学习,人工智能)