贝叶斯调参原理总结

调参3大方法

超参数优化基本分为三类:网格搜索,随机搜索和贝叶斯调参

  • 其中网格搜索是最常用的调参方法,网格搜索使用穷举法,穷举参数组合然后进行建模找到最佳参数,然而此方法有一个缺点----十分耗时.
  • 贝叶斯调参,在kaggle和天池的比赛中看到使用这种方法.据说贝叶斯调参耗时少,而且结果也不错,在kaggle等比赛中,越来越多的选手开始使用. 但是该方法也有一定的缺点,接下来对贝叶斯调参的优缺点进行说明

贝叶斯调参优缺点

1 贝叶斯调参采用高斯过程,考虑之前的参数信息,不断地更新先验;网格搜索未考虑之前的参数信息
2 贝叶斯调参迭代次数少,速度快;网格搜索速度慢,参数多时易导致维度爆炸
3 贝叶斯调参针对非凸问题依然稳健;网格搜索针对非凸问题易得到局部优最

贝叶斯调参算法流程

贝叶斯调参原理总结_第1张图片

贴两个贝叶斯调参的地址

  • 实例
  • 理论

你可能感兴趣的:(数据挖掘)