高斯过程回归(GPR)—— 数学推导

补充知识点:1. 高斯分布; 2. 条件概率P的值:P = N(u, E) ??

posterior:后验分布

GP连续域上,无限多个高维随机变量(高斯分布)所组成的随机过程。

高斯过程回归(GPR)—— 数学推导_第1张图片

\xi :高维高斯分布:高维高斯分布 

高斯过程回归(GPR)—— 数学推导_第2张图片

GPR可从两个视角观察

      权重空间角度函数空间角度,二者结果一样,但函数空间角度更加简单。

1. 权重空间角度

     GPR = Bayesian LR + Kernal Trick

高斯过程回归(GPR)—— 数学推导_第3张图片

高斯过程回归(GPR)—— 数学推导_第4张图片

2. 权重空间到函数空间

高斯过程回归(GPR)—— 数学推导_第5张图片

 因为f(x)的协方差函数cov是一个核函数,因此其可看成一个高斯过程

高斯过程回归(GPR)—— 数学推导_第6张图片

(1)f(x)是一个函数;

(2)f(x)是服从高斯分布的随机变量。

高斯过程回归(GPR)—— 数学推导_第7张图片

存在定理:对任意集合S中的单个元素都存在某个均值函数,以及对任意集合S中的2个元素都存在某个核函数(即协方差函数),则在S上一定存在一个高斯过程Z(t),其元素具有类似S形式的均值和方差。所以在给定集合S后,我们只需要给出一个一元的均值函数,一个二元的核函数表达式,就可以构造出一个高斯过程。

3. 函数空间角度

高斯过程回归(GPR)—— 数学推导_第8张图片

高斯过程回归(GPR)—— 数学推导_第9张图片

高斯过程回归(GPR)—— 数学推导_第10张图片

 

你可能感兴趣的:(机器学习,人工智能,机器学习,高斯过程回归)