机器学习-深度学习-调参技巧【贝叶斯优化】

贝叶斯优化

贝叶斯优化可以解决在调参时，参数组合的盲目搜索（gridsearch）可以快速，高效的找到相对最优的参数。

Sequential model-based optimization (SMBO) 是贝叶斯优化的最简形式，其算法思路如下：

主要的流程如下（引用自limoumou）

流程和伪代码中关键内容讲解：
PF-fitmodel：
找到模型分布，如果已知，则可以根据经验选择最优的模型；如果未知，则可以采用基于高斯过程的核函数作为黑盒函数自己学习。
高斯过程的内容可以参考高斯分布讲解
这里大致说一下，就是根据这个已有的训练样本构建一个多元高斯分布，然后根据这个多元高斯分布去预测下一个参数的分布情况。这种高维正态分布足够灵活以对任何目标函数进行建模。 其主要作用是便于找到这个函数f的先验和后验概率。

Acquisition Function：
找到不同目标函数下概率提升的期望，并求出极大值点（这个点代表着我们模型中需要实验的参数）

然后使用这个极大值点投入我们的机器学习或者深度学习模型预测出一个结果。并将这个结果更新到我们的上一步里面的那个高斯分布模型里。

依次迭代直到找到一组比较合适的参数。
这种方法可以有效的方便我们去寻找合适的参数，在较大模型和一些昂贵的医学实验上非常有效。