贝叶斯优化的初步理解

贝叶斯优化的初步理解_第1张图片

最优值是高方差和平均值是比较高的(前提是优化函数为最大值),如图所示:
贝叶斯优化的初步理解_第2张图片

 黑色实线是平均值;虚线为目标函数真实值,黑点为已经抽样的点包括x与y;红色的点是新选择的x;

新选择的x是要考虑高方差与高预测值的,而不仅仅是高预测值;当时我不理解获得函数曲线为什么没有与实线同步(即只考虑预测值)

本质上有两个数学要点,一个是随机过程/高斯过程;二是贝叶斯概率;

高斯过程主要是针对每个超参数组的预测结果进行建模,每个超参数组的预测结果是一个随机变量(这里假设为高斯分布),是一个不确定性值,多个超参数组就对应多个随机变量,即随机过程/高斯过程;在初始状态时,不清楚均值与方差;在抽样几个点后,就会大致确定附近的参数点的高斯分布情况,点越多,就越逼近真实函数,如上图所示;这样的情况下,就可以在不用训练的情况下,就选定一个很大概率获得最优值的超参数组;大大节约了时间;

 

1、为什么贝叶斯优化有用呢?

如果没有操作,给你一个超参数组,你怎么能知道它大概的结果;或者给定一个超参数区间,如何知道最优值会在哪一点上;有了贝叶斯优化,就可以很好的进行判断;虽然不能很准确,但可以判断出个大概;

2、和平常的建模有什么区别呢?

平常的建模会是一种参数模型,一个x,对应一个确定性的值;但这里的思路完全不同,这里是为了对预测值的区间进行预估。给出一个大概的判断,是一种非参数模型;不用管真实函数是怎么样的,都可以用来作判断,可以说是包罗万象;

3、高斯过程另样的理解方式?

比如说存在一个高斯分布函数,你即将从里面抽样10次,那么很简单,每次抽样的结果都会是一个高斯分布,10个变量成为了多元高斯分布,这里的变量就是y的输出值,对多个y进行建模,建立 高斯过程;如图所示;感觉就是承认不确定性

贝叶斯优化的初步理解_第3张图片

4、联合分布的公式是怎样的?

贝叶斯优化的初步理解_第4张图片

贝叶斯优化的初步理解_第5张图片

贝叶斯优化的初步理解_第6张图片

5、高斯过程有哪些参数?

    均值与协方差;

 

 

 

你可能感兴趣的:(ml,deep,learning)