神经网络调参

神经网络的一些调参方法小结
1、网格搜索法
网格搜索就是将多个参数进行笛卡尔乘积后逐个试验,很费时间。
sklearn库有GridSearchCV函数,结合了交叉验证,我还没在神经网络上应用过。

2、逐个调参
用枚举的方法逐个参数调优,一个参数取最佳值后固定住再进行下一个参数调优,比网格搜索快一些。不过可能有一些参数各自不是最佳值,但组合起来有更好的效果,这种方法就遗漏了这种情况。

以下方法摘自机器之心
https://www.jiqizhixin.com/articles/2018-10-31-24

3、随机搜索法
随机搜索首先为每类超参数定义一个边缘分布,通常取均匀分布,然后在这些参数上采样进行搜索。
随机搜索虽然有随机因素导致搜索结果可能特别差,但是也可能效果特别好。总体来说效率比网格搜索更高,但是不保证一定能找到比较好的超参数。
论文:Random Search for Hyper-Parameter Optimization

4、贝叶斯优化
(之后整理)

你可能感兴趣的:(深度学习,神经网络)