高斯过程回归GPR

关键字：核函数，RBF 超参数调优

对这个很熟悉了，简单写一下

本人用matlab实现了一下:

https://download.csdn.net/download/qq_40597317/10646888

可以参考论文阅读。

一、GP是干什么的

已知n个点的(x,y)，想知道在任意一个新的点Xn+1,对应的Yn+1是怎么样的。可以用来进行贝叶斯优化。

二、基本思想

因为高斯分布在自然界无比常见，所以把原来的n个y看成服从高斯分布，来了一个新的Xn+1，这n+1个y还是服从一个联合正态分布的。

三、算法

要点：

1.简单来说，高斯过程可以看成是一个函数，函数的输入是x，函数的输出是高斯分布的均值和方差。

2.y的相关性取决于x，然后由x到y用高斯核函数表示其相关性，至于高斯核函数之前的博客写了一些

3.Y之间的分布用协方差矩阵表示

4、有噪声时把噪声加到对角线上

高斯过程的一个特点就是，对于每个x都有一个对应的高斯分布，而对于一组X={x1,x2,...,xt}，即则存在一个联合高斯分布，这个高斯分布满足

其中

即N个分量的多变量高斯随机向量对应于概率密度函数（m和K分别是均值和协方差矩阵）

  5      

 

原来的分布是：

 

如果来了一个新样本x(t+1)，那么高斯分布为

 

其中

然后计算f(t+1)的后验分布为

四、核函数的选取

对于上面的协方差矩阵K，其中k(x,y)表示核函数，那么这个核函数如选取？

1、高斯核函数

.RBF（高斯核函数，也叫做径向基函数）

 

来源： http://blog.163.com/jia_huiqiang/blog/static/27421002120178734639912/ 

在支持向量机(以下简称SVM)的核函数中，高斯核(以下简称RBF)是最常用的，从理论上讲， RBF一定不比线性核函数差，但是在实际应用中，却面临着几个重要的超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以我们实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果线性核不好，我们就需要使用RBF，

一般形式

我们还可以加上一个控制的超参数θ控制内核的宽度

更为一般的情况：加上对角元，这是一种正则化方法（避免过拟合）

在GPR里，这是在对角线上加上一组自动相关性确定（automatic relavance determination，ARD）超参θ

对θ的估计可以通过最大对数似然估计得到

2、Matern核

叫平滑系数，和分别是Gamma函数和Bassel函数（这个数学分析学过的）

平滑系数为0.5时，是指数核

平滑系数无穷大时，是高斯核

over，这是我个人的注意点，看不懂的宝宝请移驾https://blog.csdn.net/greenapple_shan/article/details/52402051