20 Gaussian Process Regression——高斯过程回归

20 Gaussian Process Regression——高斯过程回归

20.1 背景介绍

高斯过程中，高斯是指Gaussian Distribution，过程就是指随机过程。

来回忆一下学过的高斯分布：

• 一维高斯（Gaussian Distribution）：$P(x)=N(\mu ,{\sigma }^2)$
• 多维高斯（Multivariate Gaussian Distribution）$⟺$高斯网络（Gaussian Network）：$P(x)=N(\mu ,{\Sigma }_{p\times p})$
• 无限维高斯$⟺$高斯过程

我们给出高斯过程的定义：

• 高斯过程是定义在连续域（如时间轴）上的无限多个高维随机变量所组成的随机过程。

若在实际情况中，我们可以写成：

• 在一个连续域T中（以时间轴为例），对于$\forall n\in N^{+}$我们截取出$t_1,t_2,\dots ,t_n\in T$，在每个节点上定义随机变量${\xi }_{t_1},{\xi }_{t_2},\dots ,{\xi }_{t_n}$，使得向量$({\xi }_{t_1\to t_n})\backsim N({\mu }_{t_1\to t_n},{\Sigma }_{t_1\to t_n})$，那么我们可以说${\{{\xi }_t\}}_{t\in T}$就是一个高斯过程。

• 高斯过程可以写成${\xi }_t\backsim GP(m(t),K(s,t))$​的形式，其中$m(t)$表示mean function，$k(s,t)$表示covariance function：
  $$\{\begin{array}{l}m(t)=E[{\xi }_t]\\ k(s,t)=E[({\xi }_s-E[{\xi }_s])({\xi }_t-E[{\xi }_t])]\end{array}$$

20.2 高斯过程回归解决非线性问题

在过去的问题中，我们是解决以下模型：

• 模型：
  $$\{\begin{array}{l}f(x)=w^{T}x=x^{T}w\\ y=f(x)+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)\end{array}$$

• 解决Inference问题：
  $$P(w|Data)=N(w|{\mu }_w,{\Sigma }_w)\{\begin{array}{l}{\mu }_w={\sigma }^{-2}{A}^{-1}{X}^{T}Y\\ {\Sigma }_w=A^{-1}\\ A={\sigma }^{-2}{X}^{T}X+E_p^{-1}\end{array}$$

• 解决Prediction问题（给定$x^{\ast }$）：
  $$\{\begin{array}{l}P(f(x^{\ast })|Data,x^{\ast })=N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast })\\ P(y^{\ast }|Data,x^{\ast })=N({x^{\ast }}^T{\mu }_w,{x^{\ast }}^T{\Sigma }_w{x}^{\ast }+{\sigma }^2)\end{array}$$

但是这个模型是线性的，如果问题是非线性的我们该怎么办？

• 在核方法中我们学到过非线性转换：从低维空间向高维空间进行转换，使得数据线性。
• 为了解决高维数据难以计算的问题，如果需要计算的内容只需要用到内积，那么我们定义一个核函数就可以快速解决问题。

所以我们做出如下定义：

1. 定义一个函数$\varphi :x\mapsto z(x\in {\mathbb{R}}^p,z=\varphi (x)\in {\mathbb{R}}^q,q>p)$表示低维空间向高维空间的映射
2. 定义新的数据集为$\Phi =\varphi (X)={(\varphi (x_1),(\varphi (x_2),\dots ,(\varphi (x_N))}_{N\times q}^T$
3. 新的模型可以写作$f(x)={\varphi (x)}^{T}w$

---

本节通过实际解决预测问题看以下高斯过程。

先把原问题具体写出来：
$$f(x^{\ast })|X,Y,x^{\ast }\backsim N({x^{\ast }}^T{\sigma }^{-2}{A}^{-1}{X}^{T}Y,{x^{\ast }}^T{A}^{-1}{x}^{\ast }),A={\sigma }^{-2}{X}^{T}X+E_p^{-1}$$
由于进行了非线性转换，我们将Prediction写成转换后的形式：
$$f(x^{\ast })|X,Y,x^{\ast }\backsim N({\sigma }^{-2}{{\varphi (x)}^{\ast }}^T{A}^{-1}{\Phi }^{T}Y,{{\varphi (x)}^{\ast }}^T{A}^{-1}{\varphi (x)}^{\ast }),A={\sigma }^{-2}{\Phi }^T\Phi +E_p^{-1}$$
要将均值和方差就需要将$A^{-1}$算出来，可以通过woodbury formula进行计算，也可以通过将等式$A={\sigma }^{-2}{\Phi }^T\Phi +E_p^{-1}$进行数学变换弄出来。

补充：woodbury formula
$${(A+UCV)}^{-1}=A^{-1}-A^{-1}\cup {(C^{-1}+V{A}^{-1}U)}^{-1}V{A}^{-1}$$

推导就是简单的数学变换，过程省略，得出的结果是：
$$\{\begin{array}{l}mean:\varphi (x^{\ast }){\Sigma }_p{\Phi }^T{(K+{\sigma }^{2}I)}^{-1}Y\\ covarience:{\varphi (x^{\ast })}^T{\Sigma }_p\varphi (x^{\ast })-{\varphi (x^{\ast })}^T{\Sigma }_p{\Phi }^T{(K+{\sigma }^{2}I)}^{-1}\Phi {\Sigma }_p\varphi (x^{\ast })\\ K=\Phi {\Sigma }_p{\Phi }^T\end{array}$$
Prediction就可以表示为：
$$f(x^{\ast })|X,Y,x^{\ast }\backsim N(\underline{\varphi (x^{\ast }){\Sigma }_p{\Phi }^T}{(\underline{K}+{\sigma }^{2}I)}^{-1}Y,\underline{{\varphi (x^{\ast })}^T{\Sigma }_p\varphi (x^{\ast })}-\underline{{\varphi (x^{\ast })}^T{\Sigma }_p{\Phi }^T}{(\underline{K}+{\sigma }^{2}I)}^{-1}\underline{\Phi {\Sigma }_p\varphi (x^{\ast })})$$
在最终得到的Prediction公式中，可以看到我花了许多下划线的地方，这些全都是需要进行计算的地方。因为我们提升了维度，所以我们自然想要这些地方全都可以使用核函数快速计算：

1. 我们要定义一个核函数，首先我们将核函数定义为$K(x,x^{{}^{\prime }})=\varphi (x{)}^T{\Sigma }_p\varphi (x^{{}^{\prime }})$，接下来要证明他是否表示内积的形式

2. 由于${\Sigma }_p$是正定矩阵，所以有${\Sigma }_p={\Sigma }_p^{\frac{1}{2}}\cdot {\Sigma }_p^{\frac{1}{2}}$

3. 我们将核函数进行一个变换：
   $$K(x,x^{{}^{\prime }})=\varphi (x{)}^T{\Sigma }_p^{\frac{1}{2}}\cdot {\Sigma }_p^{\frac{1}{2}}\varphi (x^{{}^{\prime }})={({\Sigma }_p^{\frac{1}{2}}\varphi (x))}^T\cdot {\Sigma }_p^{\frac{1}{2}}\varphi (x^{{}^{\prime }})$$

4. 所以我们可以将将上面的核函数看作：
   $$\{\begin{array}{l}K(x,x^{{}^{\prime }})=⟨\phi (x),\phi (x^{{}^{\prime }})⟩\\ \phi (x)={\Sigma }_p^{\frac{1}{2}}\varphi (x)\end{array}$$

总体来说，我们可以看作Gaussian Process Regression = Bayesian Linear Regression + Kernel Trick(非线性变换)

20.3 从weight-space到function-space

这个标题一看到可能会觉得有点奇妙，我们先来解释一下什么是weight-space和function-space：

• weight-space表示通过模型$f(x)=w^{T}x=x^{T}w$求解，主要是针对于$w$进行操作，比如给$w$设置一个prior，然后再求出$w$的posterior
• function-space就是直接对$f(x)$进行操作，不用分解$f(x)$

为了解释我们怎么将高斯过程从随机变量转变为$f(x)$，首先我们简单做一个回顾：

1. 回顾高斯过程的定义：假设有一段连续域$T$，在$T$中定义$n$个节点（$\forall n\in N^{+},n\ge 1$）表示为$t_1,t_2,\dots ,t_n\in T$，每个节点上定义一个随机变量${\xi }_{t_1},{\xi }_{t_2},\dots ,{\xi }_{t_n}$，令${\xi }_{1:n}={({\xi }_{t_1},{\xi }_{t_2},\dots ,{\xi }_{t_n})}^T$。若使得${\xi }_{1:n}\backsim N({\mu }_{1:n},{\Sigma }_{1:n})$，则称${\{{\xi }_t\}}_{t\in T}$是高斯过程，写作${\xi }_t\backsim GP(m(t),K(t,s))$。

2. 上文中的${\xi }_t\backsim GP(m(t),K(t,s))$，其中$m(t)$表示均值函数，$K(t,s)$表示方差函数。这里重点是我们的均值方差已经不是一个变量而是一个函数了，因为高斯过程中的均值和方差是会变的。但是为什么GP要用$m(t)$和$K(t,s)$表示呢？这里参考高斯过程存在性定理，不做证明。

3. 回顾weight-space view，模型定义为：
   $$\{\begin{array}{l}f(x)=\varphi (x{)}^{T}w\\ y=f(x)+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)\end{array}$$

为了寻找weight-space到function-space中的过渡关系，我们对Bayesian Method中的求解过程进行分析：

1. 给定$w$一个prior：$w\backsim N(0,{\Sigma }_p)$（这里为方便计算这样设置）

2. 我们可以求解期望：
   $$E[f(x)]=E[{\varphi (x)}^{T}w]=\underset{\text{关注对象为w}}{{\varphi (x)}^{T}E[w]}=0$$

3. 我们也可以求解方差：
   $$\begin{array}{rl}cov(f(x),f(x^{{}^{\prime }}))& =E[(f(x)-\underset{=0}{E[f(x)]})(f(x^{{}^{\prime }})-\underset{=0}{E[f(x^{{}^{\prime }})]})]\\ & =E[f(x)f(x^{{}^{\prime }})]\\ & =E[\varphi (x{)}^{T}w\cdot \underset{1\times 1}{\varphi (x^{{}^{\prime }}{)}^{T}w}]\\ & =E[\varphi (x{)}^{T}w\cdot w^T\varphi (x^{{}^{\prime }})]\\ & =\varphi (x{)}^{T}E[w\cdot w^T]\varphi (x^{{}^{\prime }})\\ & =\varphi (x{)}^{T}E[(w-0)\cdot (w^T-0)]\varphi (x^{{}^{\prime }})\\ & =\varphi (x{)}^{T}cov[w]\varphi (x^{{}^{\prime }})\\ & =\varphi (x{)}^T{E}_p\varphi (x^{{}^{\prime }})\end{array}$$

根据Bayesian Method中的解析：

1. 得到了：
   $$\{\begin{array}{l}E[f(x)]=0\\ cov(f(x),f(x^{{}^{\prime }}))=\varphi (x{)}^T{E}_p\varphi (x^{{}^{\prime }})\end{array}$$

2. 我们发现$\varphi (x{)}^T{E}_p\varphi (x^{{}^{\prime }})$非常眼熟，这就是我们在上一节定义的Kernel Function，所以可以写作：
   $$cov(f(x),f(x^{{}^{\prime }}))=\varphi (x{)}^T{E}_p\varphi (x^{{}^{\prime }})=K(x,x^{{}^{\prime }})$$

我们发现他是个Kernel Function又有什么用呢？

1. 我们回忆一下高斯过程的定义，我们将其定义为$GP(m(t),K(t,s))$其中$m(t)$表示均值函数，$K(t,s)$表示方差函数。
2. 启发：这里我们的$f(x)$方差也是一个$K$函数，是否说明也可以将${\{f(x)\}}_{x\in {\mathbb{R}}^p}$也看作一个高斯过程？

我们将weight-space和function-space对比一下：

• 连续域：$T\to {\mathbb{R}}^p$，其中${\mathbb{R}}^p$也是无穷的、稠密的
• 样本：$t\to x$
• 变量：${\xi }_t\to f(x)$

---

总结一下：

1. weight-space view：关注的是$w$，Prediction问题中$P(y^{\ast }|Data,x^{\ast })={\int }_{w}P(y^{\ast }|w,x^{\ast })\cdot p(w)\mathrm{d}w$
2. function-space view：关注的是$f(x)$，Prediction问题中$P(y^{\ast }|Data,x^{\ast })={\int }_{w}P(y^{\ast }|f,x^{\ast })\cdot p(f)\mathrm{d}f$

20.4 function-space view解决问题

还是先来梳理一遍条件：

1. 高斯过程条件：
   $$\{\begin{array}{l}{f(x)}_{x\in {\mathbb{R}}^p}\backsim GP(m(x),K(x,x^{{}^{\prime }}))\\ m(x)=E[f(x)]\\ K(x,x^{{}^{\prime }})=E[(f(x)-m(x)){(f(x^{{}^{\prime }})-m(x^{{}^{\prime }}))}^T]\end{array}$$

2. 回归问题条件：
   $$Data:{\{(x_i,y_i)\}}_{i=1}^N,X={(x_1,x_2,\dots ,x_N)}_{N\times p}^T,Y={(y_1,y_2,\dots ,y_N)}_{N\times 1}^T$$

3. 当前的问题可以写作：
   $$\{\begin{array}{l}f(x)\backsim GP(\mu (X),K(X,X))\\ y=f(x)+\epsilon \backsim N(\mu (X),K(X,X)+{\sigma }^{2}I)\end{array}$$

具体解决一下Prediction问题：

1. 给定条件$X^{\ast }=(x_1^{\ast },x_2^{\ast },\dots ,x_M^{\ast }{)}^T$，要求$Y^{\ast }=f(X^{\ast })+\epsilon$

2. 我们将已知条件$Y$和目标$f(X^{\ast })$写作联合概率：
   $$\left(\begin{array}{c}Y\\ f(X^{\ast })\end{array}\right)\backsim N\left(\begin{array}{c}\left(\begin{array}{c}\mu (X)\\ \mu (X^{\ast })\end{array}\right),\left(\begin{array}{cc}K(X,X)+{\sigma }^{2}I& K(X,X^{\ast })\\ K(X^{\ast },X)& K(X^{\ast },X^{\ast })\end{array}\right)\end{array}\right)$$

3. 然后通过多维高斯的条件概率公式求解$P(f(X^{\ast })|Y,X,X^{\ast })=N({\mu }^{\ast },{\Sigma }^{\ast })$，可得：
   $$\{\begin{array}{l}{\mu }^{\ast }=K(X^{\ast },X)\cdot {(K(X,X)+{\sigma }^{2}I)}^{-1}\cdot (Y-\mu (X))+\mu (X^{\ast })\\ {\Sigma }^{\ast }=K(X^{\ast },X^{\ast })-K(X^{\ast },X)\cdot {(K(X,X)+{\sigma }^{2}I)}^{-1}K(X,X^{\ast })\end{array}$$

4. 由于已经求出来$P(f(X^{\ast })|Y,X,X^{\ast })=N({\mu }^{\ast },{\Sigma }^{\ast })$中的${\mu }^{\ast },{\Sigma }^{\ast }$，下面当作已知条件计算。根据$Y^{\ast }=f(X^{\ast })+\epsilon ,\epsilon \backsim N(0,{\sigma }^2)$可得：
   $$\begin{array}{r}P(Y^{\ast }|Y,X,X^{\ast })=N({\mu }_y^{\ast },{\Sigma }_y^{\ast })=N({\mu }^{\ast },{\Sigma }^{\ast }+{\sigma }^{2}I)\end{array}$$

所以如果通过function-space view，我们求解预测问题只需要通过高斯分布的公式求解就好，相对于weight-space效果相同但步骤会简单一些。