针对loos为0.69或2.3,保持不变问题。

最近,训练深度网络时出现一个问题,就是loss从模型训练开始就在某个值上下波动,保持不变。例如,2分类问题是0.69,10分类问题是2.3左右,因为刚开始都是用的mnist数据集。

训练的提示如下图:

针对loos为0.69或2.3,保持不变问题。_第1张图片

对于为什么会出现这种问题,想知道原因的可以参考这篇博客,里面给出了原因以及从哪些方面检查问题。

而我,就讲下我的一个粗心小错误。如果,你检查你的数据集没问题,网络结构也正常。不妨,考虑是不是你初始化的权重(weights)不太合适

我出现这种现象时候的权重初始化,std=0.01。

weights_initializer=tf.truncated_normal_initializer(0.0, 0.01)

我然后将上面的参数,改std=0.1时,网络就正常训练。

weights_initializer=tf.truncated_normal_initializer(0.0, 0.1)

如果,真的出现上面现象,而有找不到其他的问题,不妨考虑一下,是不是权重参数不合适造成的。

你可能感兴趣的:(针对loos为0.69或2.3,保持不变问题。)