【HyperQuest】调参

1 前言

【HyperQuest】调参_第1张图片

平台网址链接
平台介绍:这是一个网络应用程序,专门为机器学习的初学者设计,可以轻松地通过直觉来选择正确的超参数。

以此篇文章记录我的调参结果和个人总结,如果大家有更好的效果,欢迎留言交流~

2 调参思路

  1. 最开始:没有regulation,learning rate较大,网络模型简单
  2. 如果train和test接近且准确率高,说明模型ok
  3. 如果train是折线,则需要降低lr
  4. 如果train不高,且不是折线,则提高模型复杂度/提高epoch/尝试下提高lr
  5. 如果train高,但是test低,说明过拟合了,增加dropout/增加regulation/减小模型复杂度。

注意:width\depth不是越大越好,模型越复杂越需要更多的epoch去训练,因此在epoch一定情况下,模型越简单越好。

3 调参过程

3.1 cnn

【HyperQuest】调参_第2张图片
【HyperQuest】调参_第3张图片
【HyperQuest】调参_第4张图片
即:
【HyperQuest】调参_第5张图片
网页说,应该要把acc调到0.7左右,我只能调到0.685了…

3.2 two layers

目前最优的结果:
【HyperQuest】调参_第6张图片

4 总结

鄙人不太会调参,如果有好的思路和方法希望大家能分享下~ 阿里嘎多!

你可能感兴趣的:(深度学习,深度学习)