1、梯度爆炸
原因:在学习过程中,梯度变得非常大,使得学习的过程偏离了正常的轨迹
症状:观察输出日志(runtime log)中每次迭代的loss值,你会发现loss随着迭代有明显的增长,最后因为loss值太大以至于不能用浮点数去表示,所以变成了NaN。
可采取的方法:1.降低学习率,比如solver.prototxt中的base_lr,降低一个数量级(至少)。如果在你的模型中有多个loss层,就不能降低基础的学习率base_lr,而是需要检查日志,找到产生梯度爆炸的层,然后降低train_val.prototxt中该层的loss_weight.
2、错误的学习率策略及参数
原因:在学习过程中,caffe不能得出一个正确的学习率,相反会得到inf或者nan的值。这些错误的学习率乘上所有的梯度使得所有参数变成无效的值。
症状:观察输出日志(runtime log),你应该可以看到学习率变成NaN,例如:
... sgd_solver.cpp:106] Iteration 0, lr = -nan
可采取的方法:修改solver.prototxt文件中所有能影响学习率的参数。比如,如果你设置的学习率策略是lr_policy:"poly", 而你又忘了设置最大迭代次数max_iter,那么最后你会得到lr=NaN...
关于caffe学习率及其策略的内容,可以在github的/caffe-master/src/caffe/proto/caffe.proto文件中看到(传送门)
3、错误的损失函数
原因:有时,在损失层计算损失值时会出现NaN的情况。比如,向InfogainLoss层没有归一化输入值,使用自定义的损失层等。
症状:观察输出日志(runtime log)的时候,你可能不会发现任何异常:loss逐渐下降,然后突然出现NaN。
可采取的方法:重新尝试该错误,打印损失层的值并调试。
举个栗子:有一回,我根据批量数据中标签出现的 频率去归一化惩罚值并以此计算loss。如果有个label并没有在批量数据中出现,频率为0,结果loss出现了NaN的情况。在这种情况先,需要用足够大的batch来避免这个错误。
4、错误的输入
原因:你的输入中存在NaN!
症状:一旦学习过程中碰到这种错误的输入,输出就会变成NaN。观察输出日志(runtime log)的时候,你可能也不会发现任何异常:loss逐渐下降,然后突然出现NaN。
可采取的方法:重建你的输入数据集(Imdb/leveldn/hdf5...),确保你的训练集/验证集中没有脏数据(错误的图片文件)。调试时,使用一个简单的网络去读取输入,如果有一个输入有错误,这个网络的loss也会出现NaN。
5、Pooling层的步长大于核的尺寸
由于一些原因,步长stride>核尺寸kernel_size的Pooling层会出现NaN。比如:
layer {
name: "faulty_pooling"
type: "Pooling"
bottom: "x"
top: "y"
pooling_param {
pool: AVE
stride: 5
kernel: 3
}
}
结果y会出现NaN。
一般来说,出现NaN有以下几种情况:
1.如果在迭代的100轮以内,出现NaN,一般情况下的原因是因为你的学习率过高,需要降低学习率。可以不断降低学习率直至不出现NaN为止,一般来说低于现有学习率1-10倍即可。
2.如果当前的网络是类似于RNN的循环神经网络的话,出现NaN可能是因为梯度爆炸的原因,一个有效的方式是增加“gradient clipping”(梯度截断来解决)
3.可能用0作为了除数;
4.可能0或者负数作为自然对数
5.需要计算loss的数组越界(尤其是自己,自定义了一个新的网络,可能出现这种情况)
6.在某些涉及指数计算,可能最后算得值为INF(无穷)(比如不做其他处理的softmax中分子分母需要计算exp(x),值过大,最后可能为INF/INF,得到NaN,此时你要确认你使用的softmax中在计算exp(x)做了相关处理(比如减去最大值等等))
原文链接
参考