贝叶斯优化的初步理解

最优值是高方差和平均值是比较高的（前提是优化函数为最大值），如图所示：

 黑色实线是平均值；虚线为目标函数真实值，黑点为已经抽样的点包括x与y；红色的点是新选择的x；

新选择的x是要考虑高方差与高预测值的，而不仅仅是高预测值；当时我不理解获得函数曲线为什么没有与实线同步（即只考虑预测值）

本质上有两个数学要点，一个是随机过程/高斯过程；二是贝叶斯概率；

高斯过程主要是针对每个超参数组的预测结果进行建模，每个超参数组的预测结果是一个随机变量（这里假设为高斯分布），是一个不确定性值，多个超参数组就对应多个随机变量，即随机过程/高斯过程；在初始状态时，不清楚均值与方差；在抽样几个点后，就会大致确定附近的参数点的高斯分布情况，点越多，就越逼近真实函数，如上图所示；这样的情况下，就可以在不用训练的情况下，就选定一个很大概率获得最优值的超参数组；大大节约了时间；

 

1、为什么贝叶斯优化有用呢？

如果没有操作，给你一个超参数组，你怎么能知道它大概的结果；或者给定一个超参数区间，如何知道最优值会在哪一点上；有了贝叶斯优化，就可以很好的进行判断；虽然不能很准确，但可以判断出个大概；

2、和平常的建模有什么区别呢？

平常的建模会是一种参数模型，一个x，对应一个确定性的值；但这里的思路完全不同，这里是为了对预测值的区间进行预估。给出一个大概的判断，是一种非参数模型；不用管真实函数是怎么样的，都可以用来作判断，可以说是包罗万象；

3、高斯过程另样的理解方式？

比如说存在一个高斯分布函数，你即将从里面抽样10次，那么很简单，每次抽样的结果都会是一个高斯分布，10个变量成为了多元高斯分布，这里的变量就是y的输出值，对多个y进行建模，建立 高斯过程；如图所示；感觉就是承认不确定性

4、联合分布的公式是怎样的？

5、高斯过程有哪些参数？

    均值与协方差；