高斯过程分类原理

高斯过程原理：

       连续型变量中最普遍的分布就是高斯分布，即正态分布，也是学习和生活中接触最广的分布。一元
高斯分布由均值  和方差 2 两个参数所确定。其概率密度形如：

                                   
     多元高斯分布由均值向量 E x ( ) 和协方差矩阵cov( ) x 所确定，协方差矩阵式对称且正定，其概率
密度形如：
                                       

     高斯过程是随机变量的集合，假设输入为X={x1.x2.x3.x4,,,,},则对应的输出随机变量函数为f={f1,f2,f3,f4,.....}.在任一时刻观察这个随机过程，

概率分布均服从联合高斯分布，就是高斯过程，高斯过程由均值函数m(X)和协方差矩阵k(x,x1)组成。

    

    二分类问题：

   二分类问题的基本思想是通过确定一个合适的映射函数f(X)，使之能够对测试样本x进行预测，GPC模型在解决二分类问题时，首先假设F(x）是一个高斯过程，然后通过贝叶斯原理获得合适的f(X)。

  高斯过程模型用于分类的实现思想：

  假设n个学习样本集，S{(x,y)|y=+-1,i=1,2,3,...n},类标签y是独立同分布，条件概率p(y|f)。在二分类问题中，样本x属于类标签y的概率可以表示成：

                                  

                 

我们可以得到似然函数：

                                   

高斯过程分类就是对f(X)施加均值为0，协方差为K的高斯分布先验，即：f(x)~~GP(0,K),则p(f|x）是一个多维高斯密度函数：

                            

贝叶斯公式可得到后验概率：
                                

这个问题的解是：