深度学习调参小技巧——学习率

对应学习率的设置,我一般设置的比较大,为0.01

  • 如果loss不降并且维持着较大值,这是由于学习率过大,导致每一步走的比较大,从而错过了最优点;
  • loss降了一会后,一直不降了,这也需要我们降低学习率,通常我是通过 learning_rate /= 2 降低的;
  • 观察loss比观察acc要好

你可能感兴趣的:(深度学习,参数调整)