高斯过程的分析（一）

《随机过程》这门课真是受益颇多，老师手推公式也是真的厉害，但其实自己在学习的过程中还是有许多的不懂。但老师的名言就是：你不懂的就把他抄一遍，在付出了辛苦之后，就算不懂也会使劲将它搞懂。所以，我决定还是将它继续写下来，付出劳动之后，印象总是特别深刻。继上回理解了学习高斯过程的动机之后，这一次要开始对高斯过程有个更深入的了解，话说，高斯过程真是一个完美的存在啊。不多说，就开始记录吧。

高斯过程的基本定义

一元的高斯分布()：

二元的高斯分布的联合概率密度函数（PDF）(）

多元的高斯分布

设是n元实随机变量，，为协方差矩阵

Gauss过程：设有随机过程，如果对于任意的时间t，随机向量都服从n元高斯分布，则称为高斯过程。

高阶矩

服从多元高斯分布的随机向量的分布函数仅依赖于一阶矩和二阶矩。可以从一元高斯进行证明，如下所示：

假设，那么它的高阶矩为：，看到这个式子要想求积分就得使用分部积分，通过分部积分找到递推公式，让，那么

$I_n = (-\sigma^2)\int_{-\infty}^{\infty} x^{n-1}d\exp(-\frac{x^2}{2\sigma^2})\\=(-\sigma^2)x^{n-1}\exp(-\frac{x^2}{2\sigma^2})|^{\infty}_{-\infty}+(n-1)(\sigma^2)\int_{-\infty}^{\infty} x^{n-2}\exp(-\frac{x^2}{2\sigma^2})dx\\=(n-1)(\sigma^2)\int_{-\infty}^{\infty} x^{n-2}\exp(-\frac{x^2}{2\sigma^2})dx$

可以进行多次的分部积分，最后可以推导出以下结果：

由于一阶矩为0，所以他的奇数项为0，二阶矩为方差，所以偶数项与方差有关，由此可以看到，高斯过程的高阶矩只与一阶矩和二阶矩有关。

多元高斯分布的特征函数

前面已经说明了特征函数是解决高斯分布的有效手段之一，但只是推导了一元高斯分布的特征函数是怎样的，现在就来推导一下多元的高斯分布函数。

假设有，n元随机向量，则它的特征函数为;

将上式进行展开，有

$\phi _X(\mathbf{\omega })=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}f(x_1,...,x_n) exp(j\omega_1x_1+j\omega_2x_2+...+j\omega_nx_n)dx_1dx_2...dx_n\\=\int_{-\infty}^{\infty}...\int_{-\infty}^{\infty}\frac{1}{(2\pi)^{\frac{n}{2} }\sqrt{det(\Sigma )}}\exp(-\frac{1}{2} (X-\mu)^T\Sigma ^{-1}(X-\mu)+j\omega ^TX)dx_1...dx_n$

对指数次幂中的协方差矩阵进行分解，由于是协方差帧，所以它是对称正定的，对它进行SVD分解，，得到：

因此，设，进行积分换元，得到

$\phi _X(\mathbf{\omega })=\frac{\sqrt{det(\Sigma )}}{\sqrt{det(\Sigma )}(2\pi)^{n/2}}\int_{\mathbb{R}^n}\exp(j\omega ^T(A^{-1}y+\mu)-\frac{1}{2}y^Ty)dy \\=\frac{\exp(j\omega ^T\mu)}{(2\pi)^{n/2}}\int_{\mathbb{R}^n}\exp(j\omega ^T(A^{-1}y)-\frac{1}{2}y^Ty)dy$

对幂指数上进行配方，配方成只包括y的二次项和不包括y的一项，这里就不细写了，对包含y的那一项进行积分就是和前面的分母约掉了，最后得到:

这就是多元高斯的特征函数的表达。

参考资料

《随机过程及其应用》（第二版）陆大絟张颢

高斯过程的分析（一）

高斯过程的基本定义

高阶矩

多元高斯分布的特征函数

参考资料

你可能感兴趣的:(高斯过程的分析（一）)