2018-04-07 深度学习训练中 超参数调整 笔记

超参数

1 学习率  初始值0.1,   如何调整学习率,准确率不再下降,就减小学习率。准确率下降太慢,就增大学习率


2 mini-batch   大小,  minibatch的size太大就收敛快,计算机内存不足,但是容易陷入局部优化;太小,就是收敛慢,但是不容易陷入局部优化。合适的值是32-256


3 训练迭代epoch的次数  是一直训练下去  还是适当停止  

SessionRunHook最近版本的 TensorFlow 废弃了 Monitor 函数,而采用 SessionRunHooks 。SessionRunHook 是 tf.train 不断发展的一部分,往后似乎将是实施早期停止的一个适当位置。

到本文写作之时,tf.train 的训练钩子函数 中已存在两个预定义的停止 Monitor 函数。

StopAtStepHook:用于在特定步数之后要求停止训练的 Monitor 函数

NanTensorHook:监控损失并在遇到 NaN 损失时停止训练的 Monitor 函数


 4 隐藏层数量,第一个隐藏层,应该大于输入单元数量1,即input单元数量+1


5 隐藏层的层数,三层为佳 ,不过卷积神经网络不一样,层数越多越好

你可能感兴趣的:(2018-04-07 深度学习训练中 超参数调整 笔记)