ModaHub魔搭社区：自动化机器学习Auto-Sklearn的贝叶斯优化

贝叶斯优化

贝叶斯优化的原理是利用现有的样本在优化目标函数中的表现，构建一个后验模型。该后验模型上的每一个点都是一个高斯分布，即有均值和方差。若该点是已有样本点，则均值就是该点的优化目标函数取值，方差为0。

 

而其他未知样本点的均值和方差是后验概率拟合的，不一定接近真实值。那么就用一个采集函数，不断试探这些未知样本点对应的优化目标函数值，不断更新后验概率的模型。由于采集函数可以兼顾Explore/Exploit，所以会更多地选择表现好的点和潜力大的点。因此，在资源预算耗尽时，往往能够得到不错的优化结果。即找到局部最优的优化目标函数中的参数。

贝叶斯优化

上图是在一个简单的 1D 问题上应用贝叶斯优化的实验图，这些图显示了在经过四次迭代后，高斯过程对目标函数的近似。我们以 t=3 为例分别介绍一下图中各个部分的作用。

上图 2 个 evaluations 黑点和一个红色 evaluations，是三次评估后显示替代模型的初始值估计，会影响下一个