机器学习笔记之高斯过程(二)高斯过程回归——权重空间角度

引言

上一节简单介绍了高斯过程，本节将从权重空间角度(Weight-Space)介绍高斯过程回归

回顾

高斯过程

高斯过程(Gaussian Process)本质上是一组随机变量的集合，该集合中任意有限个随机变量均服从高斯分布。
定义基于时间/空间的连续域 为$\mathcal{T}$，对应高斯过程表示为：$\{{\xi }_t{\}}_{t\in \mathcal{T}}$。

• 该随机过程中任意时刻$t\in \mathcal{T}$对应的随机变量${\xi }_t\in \{{\xi }_t{\}}_{t\in \mathcal{T}}$均服从高斯分布$\mathcal{N}({\mu }_t,{\Sigma }_t)$。
• 并且，从高斯过程$\{{\xi }_t{\}}_{t\in \mathcal{T}}$中任意选出$n$个时刻对应的随机变量：$\{{\xi }_{t_1},{\xi }_{t_2},\cdots ,{\xi }_{t_n}\}\in \{{\xi }_t{\}}_{t\in \mathcal{T}}$同样服从高斯分布$\mathcal{N}({\mu }_{t_1\to t_n},{\Sigma }_{t_1\to t_n})$。

贝叶斯线性回归

贝叶斯线性回归(Bayesian Linear Regression)本质上是利用贝叶斯方法处理线性回归任务。不同于频率派的点估计(Point Estimation)，贝叶斯派将模型参数$\mathcal{W}$视作随机变量，它针对线性回归问题主要分为两个步骤：

• 关于随机变量$\mathcal{W}$的推断任务(Inference)：基于数据集合$Data$，求解$\mathcal{W}$的后验概率。
  后验概率的高斯分布是基于’高斯分布的自共轭性质’。
  $\mathcal{N}(\mathcal{W}\mid {\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$这种表示描述的是‘关于$\mathcal{W}$作为后验的条件高斯分布’。
  $$\mathcal{P}(\mathcal{W}\mid Data)\sim \mathcal{N}(\mathcal{W}\mid {\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})$$
  根据贝叶斯定理，将$\mathcal{P}(\mathcal{W}\mid Data)$表示为如下形式。其中似然$\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})$根据线性回归模型可表示为 包含0均值高斯噪声的线性关系；关于先验分布$\mathcal{P}(\mathcal{W})$，将其假设为一个0均值的高斯分布；
  $$\begin{array}{rl}\mathcal{P}(\mathcal{W}\mid Data)& =\frac{\mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\cdot \mathcal{P}(\mathcal{W})}{\mathcal{P}(\mathcal{Y}\mid \mathcal{X})}\\ & \propto \mathcal{P}(\mathcal{Y}\mid \mathcal{W},\mathcal{X})\cdot \mathcal{P}(\mathcal{W})\\ & =\mathcal{N}({\mathcal{W}}^T\mathcal{X},{\sigma }^2)\cdot \mathcal{N}(0,{\Sigma }_{prior})\end{array}$$
  对上式进行求解，可以得到后验概率$\mathcal{P}(\mathcal{W}\mid Data)$的高斯分布形式：
  贝叶斯线性回归推断任务推导过程传送门
  $$\mathcal{N}({\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}})\to \{\begin{array}{l}{\mu }_{\mathcal{W}}=\frac{{\mathcal{A}}^{-1}{\mathcal{X}}^T\mathcal{Y}}{{\sigma }^2}\\ {\Sigma }_{\mathcal{W}}={\mathcal{A}}^{-1}\\ \mathcal{A}=\frac{{\mathcal{X}}^T\mathcal{X}}{{\sigma }^2}+{\Sigma }_{prior}^{-1}\end{array}$$

• 基于推断得到的关于$\mathcal{W}$的后验概率，对给定样本$\hat{x}$的标签$\hat{y}$进行预测(Prediction)。
  首先是无高斯噪声估计(Noise-Free)：

  • 这里需要使用‘基于随机变量之间存在线性关系，高斯分布的表达’传送门
  • 公式中的$\mathcal{W}$表示已经通过$Data$学习的后验概率。

  $$\{\begin{array}{l}f(\hat{x})={\mathcal{W}}^T\hat{x}={\hat{x}}^T\mathcal{W}\\ \mathcal{P}[f(\hat{x})\mid Data,\hat{x}]\sim \mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x})\end{array}$$ 其次是高斯噪声估计(Noise)：
  $$\{\begin{array}{l}\hat{y}=f(\hat{x})+ϵ\\ \mathcal{P}(\hat{y}\mid Data,\hat{x})\sim \mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x}+{\sigma }^2)\end{array}$$

引子：贝叶斯方法求解非线性回归任务

假设此时的回归任务不是线性回归，而是非线性回归(Non-Linear)，如何处理该问题：
在核方法与核函数介绍一节中针对样本无法线性可分 的问题，介绍了一种非线性转换(Non-Linear Transformation)函数：$\varphi (\cdot )$。
该函数的作用是将当前样本$x^{(i)}\in \mathcal{X}$的特征转化为高维特征：
$$x^{(i)}\to \varphi (x^{(i)})=z^{(i)}{x}^{(i)}\in {\mathbb{R}}^p;z^{(i)}\in {\mathbb{R}}^q;q>p$$
根据Cover定理思想，就是找到一个合适的$\varphi$，其目的是为了让 非线性 $\to$ 高维线性。
由于$\varphi$函数从低维向高维映射的过程中，可能存在映射结果$z^{(i)}$维度远远高于$x^{(i)}$，首先，计算这个高维映射$\varphi (x^{(i)})$的计算代价就很高；其次，求解内积$[\varphi (x^{(i)}){]}^T\varphi (x^{(j)})$过程中计算代价更高。，实际上，找非线性转换函数的本质是找合适的核函数(Kernal Function)：
$$\kappa (x^{(i)},x^{(j)})=⟨\varphi (x^{(i)}),\varphi (x^{(j)})⟩=[\varphi (x^{(i)}){]}^T\cdot \varphi (x^{(j)})$$

需要知道：内积是从哪里出现的？
观察无高斯噪声估计(Noise-Free)：
$$\begin{array}{rl}\mathcal{P}[f(\hat{x})\mid Data,\hat{x}]& \sim \mathcal{N}({\hat{x}}^T{\mu }_{\mathcal{W}},{\hat{x}}^T\cdot {\Sigma }_{\mathcal{W}}\cdot \hat{x})\\ & =\mathcal{N}\left[{\hat{x}}^T\left(\frac{{\mathcal{A}}^{-1}{\mathcal{X}}^T\mathcal{Y}}{{\sigma }^2}\right),{\hat{x}}^T\cdot {\mathcal{A}}^{-1}\cdot \hat{x}\right]{\mathcal{A}}^{-1}=\frac{{\mathcal{X}}^T\mathcal{X}}{{\sigma }^2}+{\Sigma }_{prior}^{-1}\end{array}$$
随机变量集合$\mathcal{X}=\{x_1,\cdots ,x_p\}$是一个非线性回归任务，根据上面描述，需要对样本$x^{(i)}$进行非线性转换。假设关于${\mathcal{X}}_{N\times p}$的非线性转换结果为：
$$\varphi (\mathcal{X})={\left[\varphi (x^{(1)}),\varphi (x^{(2)}),\cdots ,\varphi (x^{(\mathcal{N})})\right]}_{N\times q}^T$$
对应的无噪声模型表示为：
$$f(x)={\left[\varphi (x)\right]}_{1\times q}^T{\mathcal{W}}_{q\times 1}x\in \mathcal{X}$$
从而关于$\hat{x}$的预测任务表示为：
实际上就是将所有$\hat{x},\mathcal{X}$替换为$\varphi (\hat{x}),\varphi (\mathcal{X})$.
$$\mathcal{P}[f(\hat{x})\mid Data,\hat{x}]\sim \mathcal{N}\left[[\varphi (\hat{x}){]}^T\left(\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T\mathcal{Y}}{{\sigma }^2}\right),[\varphi (\hat{x}){]}^T\cdot {\mathcal{A}}^{-1}\cdot \varphi (\hat{x})\right]\mathcal{A}=\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}+{\Sigma }_{prior}^{-1}$$

至此，发现了：内积部分$[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})$出现在矩阵$\mathcal{A}$ 中。如何求解${\mathcal{A}}^{-1}$?
最终的目的是将均值、方差${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$写成关于‘核函数’$\kappa (\cdot ,\cdot )$的方式,而${\mu }_{\mathcal{W}},{\Sigma }_{\mathcal{W}}$中均是以${\mathcal{A}}^{-1}$出现的。
这里引入一个关于求解矩阵逆 的定理：$\text{Woodbury Formula}$。
仅需要了解如何使用即可。
$$(\mathcal{A}+\mathcal{U}\mathcal{C}\mathcal{V}{)}^{-1}={\mathcal{A}}^{-1}-{\mathcal{A}}^{-1}\mathcal{U}({\mathcal{C}}^{-1}+\mathcal{V}{\mathcal{A}}^{-1}\mathcal{U}{)}^{-1}\mathcal{V}{\mathcal{A}}^{-1}$$

• 观察$\mathcal{A}={\left[\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}\right]}_{q\times q}+{\left[{\Sigma }_{prior}^{-1}\right]}_{q\times q}$：
  $\mathcal{A}$自身是$q\times q$的矩阵。下面的步骤是为了直接凑均值项$\frac{{\mathcal{A}}^{-1}\mathcal{X}\mathcal{Y}}{{\sigma }^2}$.

均值表示的推导过程

• 首先，等式左侧$\mathcal{A}$右乘一个${\Sigma }_{prior}$：
  其中，$\mathcal{I}$表示单位矩阵；$q\times q$
  $$\begin{array}{rl}\mathcal{A}{\Sigma }_{prior}& =\frac{{\left[\varphi (\mathcal{X})\right]}^T\varphi (\mathcal{X})}{{\sigma }^2}{\Sigma }_{prior}+{\Sigma }_{prior}^{-1}{\Sigma }_{prior}\\ & =\frac{{\left[\varphi (\mathcal{X})\right]}^T\varphi (\mathcal{X})}{{\sigma }^2}{\Sigma }_{prior}+{\mathcal{I}}_{q\times q}\end{array}$$
• 在上步基础上，继续右乘一个$[\varphi (\mathcal{X}){]}^T$：
  提出一个公因式$\frac{[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}$,将两项合并，将$\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T$用核函数$\mathcal{K}(\mathcal{X},\mathcal{X})$这个记号进行表示。
  $$\begin{array}{rl}\mathcal{A}{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T& =\frac{{\left[\varphi (\mathcal{X})\right]}^T\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}+[\varphi (\mathcal{X}){]}^T\\ & =\frac{[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\left\{\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T+{\sigma }^2\mathcal{I}\right\}\\ & =\frac{[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]\end{array}$$
• 在上步基础上，左乘一个${\mathcal{A}}^{-1}$：
  此时，等式左侧变成了${\sigma }_{prior}[\varphi (\mathcal{X}){]}^T$;
  $$\begin{array}{r}{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T=\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]\end{array}$$
  从而有：
  相当于等式两边同乘$[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}$
  $$\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}={\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}$$

至此，均值部分相当于上式基础上，左乘一个$[\varphi (\hat{x}){]}^T$，再右乘一个$\mathcal{Y}$：
这里面已知项有：${\Sigma }_{prior}$是先验分布$\mathcal{P}(\mathcal{W})$的协方差矩阵；${\sigma }^2$是回归模型的高斯噪声；$\mathcal{K}(\mathcal{X},\mathcal{X})$是$\varphi (\mathcal{X}){\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T$的表示；
$$\begin{array}{rl}{\mu }_{\hat{x}}& =[\varphi (x){]}^T\cdot {\mu }_{\mathcal{W}}\\ & =[\varphi (x){]}^T\left[\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T}{{\sigma }^2}\right]\cdot \mathcal{Y}\\ & =[\varphi (x){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}\mathcal{Y}\end{array}$$
小结：实际上上述的均值求解仅是将$\mathcal{A}$带入到均值表达式中的求解过程，并没有使用 $\text{Woodbury Formula}$定理。

方差表示的推导过程

继续求解高维转换后的方差表示。方差部分表示如下：
$$[\varphi (\hat{x}){]}^T\cdot {\mathcal{A}}^{-1}\cdot \varphi (\hat{x})\mathcal{A}=\frac{[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})}{{\sigma }^2}+{\Sigma }_{prior}^{-1}$$
这里需要使用$\text{Woodbury Formula}$对${\mathcal{A}}^{-1}$进行求解，或者使用上述拼凑的方式求解：
就是套公式~这里就不写过程了~
$$\begin{array}{rl}{\mathcal{A}}^{-1}& ={\left({\Sigma }_{prior}^{-1}+\frac{1}{{\sigma }^2}[\varphi (\mathcal{X}){]}^T\varphi (\mathcal{X})\right)}^{-1}\\ & ={\Sigma }_{prior}-{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T{\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]}^{-1}\varphi (\mathcal{X}){\Sigma }_{prior}\end{array}$$

最终，经过非线性转换后的关于样本$\hat{x}$的后验分布表示为：
注意：这个是‘无高斯噪声’(Noise-Free)的分布。
$$\begin{array}{rl}\mathcal{P}[f(\hat{x})\mid Data,\hat{x}]& \sim \mathcal{N}\left[[\varphi (\hat{x}){]}^T\left(\frac{{\mathcal{A}}^{-1}[\varphi (\mathcal{X}){]}^T\mathcal{Y}}{{\sigma }^2}\right),[\varphi (\hat{x}){]}^T\cdot {\mathcal{A}}^{-1}\cdot \varphi (\hat{x})\right]\\ & =\mathcal{N}({\mu }_{\hat{x}},{\Sigma }_{\hat{x}})\{\begin{array}{l}{\mu }_{\hat{x}}=[\varphi (x){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}\\ {\Sigma }_{\hat{x}}=[\varphi (\hat{x}){]}^T\cdot \left\{{\Sigma }_{prior}-{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T{\left[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}\right]}^{-1}\varphi (\mathcal{X}){\Sigma }_{prior}\right\}\cdot \varphi (\hat{x})\end{array}\end{array}$$
从简化运算的角度，在从几何角度观察多维高斯分布一节中介绍关于协方差矩阵的定义，可以将其定义为一个对角矩阵，甚至是各向同性。

协方差函数(核函数)

回顾上述公式：
就是上述公式的展开式~
$$\mathcal{N}\left[\underset{{\mu }_{\hat{x}}}{[\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T[\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{]}^{-1}\mathcal{Y}},\underset{{\Sigma }_{\hat{x}}}{[\varphi (\hat{x}){]}^T{\Sigma }_{prior}\varphi (\hat{x})-[\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T(\mathcal{K}(\mathcal{X},\mathcal{X})+{\sigma }^2\mathcal{I}{)}^{-1}\varphi (\mathcal{X}){\Sigma }_{prior}\varphi (\hat{x})}\right]$$
观察之前定义的符号$\mathcal{K}(\mathcal{X},\mathcal{X})$：
$$\mathcal{K}(\mathcal{X},\mathcal{X})=\varphi (\mathcal{X})\cdot {\Sigma }_{prior}\cdot [\varphi (\mathcal{X}){]}^T$$
这个格式在上述公式中比比皆是：
$$\begin{array}{rl}& \mu \text{ part}:\{\begin{array}{l}[\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T\\ \mathcal{K}(\mathcal{X},\mathcal{X})\end{array}\\ & \Sigma \text{ part}:\{\begin{array}{l}[\varphi (\hat{x}){]}^T{\Sigma }_{prior}\varphi (\hat{x})\\ [\varphi (\hat{x}){]}^T{\Sigma }_{prior}[\varphi (\mathcal{X}){]}^T\\ \mathcal{K}(\mathcal{X},\mathcal{X})\\ \varphi (\mathcal{X}){\Sigma }_{prior}\varphi (\hat{x})\end{array}\end{array}\varphi (\mathcal{X})=[\varphi (x^{(1)}),\varphi (x^{(2)}),\cdots ,\varphi (x^{(N)}){]}_{N\times q}^T$$

上述的所有格式，都可以用记号$\mathcal{K}(\cdot ,\cdot )$进行表示。这个记号函数$\mathcal{K}(\cdot ,\cdot )$到底是不是核函数？
这个高维转换函数$\varphi$中有可能是一个向量：某一个原始$x_{p\times 1}$；也有可能是一个'数据集合'${\mathcal{X}}_{N\times p}$
观察：由于先验分布的协方差矩阵${\Sigma }_{prior}$至少是半正定的，这里假设它的正定的，因而有：
$${\Sigma }_{prior}={\left[\sqrt{{\Sigma }_{prior}}\right]}^2={\left[\sqrt{{\Sigma }_{prior}}\right]}^T\sqrt{{\Sigma }_{prior}}$$
因此，$\mathcal{K}(x,x^{\prime })$可表示为：
这里的$x,x^{\prime }$只是两个宏观的量，它可以表示上述任意一组格式。
$$\begin{array}{rl}\mathcal{K}(x,x^{\prime })& =[\varphi (x){]}^T{\Sigma }_{prior}\varphi (x^{\prime })\\ & =[\varphi (x){]}^T{\left[\sqrt{{\Sigma }_{prior}}\right]}^T\sqrt{{\Sigma }_{prior}}\varphi (x^{\prime })\\ & ={\left[\sqrt{{\Sigma }_{prior}}\varphi (x)\right]}^T\sqrt{{\Sigma }_{prior}}\varphi (x^{\prime })\end{array}$$
这里令$\psi (x)=\sqrt{{\Sigma }_{prior}}\varphi (x),\psi (x^{\prime })=\sqrt{{\Sigma }_{prior}}\varphi (x^{\prime })$，则有：
$$\mathcal{K}(x,x^{\prime })=⟨\psi (x),\psi (x^{\prime })⟩$$
至此，可以使用核技巧(Kernal trick)将上述格式全部使用核函数 进行表示，从而跳过高维转换函数$\psi (\cdot )$的复杂计算问题。

至此，将 贝叶斯线性回归 + 高维非线性转换 处理非线性回归问题 转换成基于核函数的贝叶斯线性回归问题(Kernal Bayesian Linear Regression,Kernal BLR)

高斯过程回归与线性贝叶斯回归的关系

实际上，贝叶斯线性回归(Bayesian Linear Regression)和核技巧相结合，构成了 高斯线性回归(Gaussian Linear Regression)。

• 核技巧部分包括：非线性转换(Non-Linear Transformation)$\varphi (\cdot )$部分以及内积(Inner Product)$⟨\varphi (\cdot ),\varphi (\cdot )⟩$部分。
• 这个关系就是‘权重空间视角’(Weight-Space)的结论。

高斯过程回归一般从两个视角进行描述：

• (本节介绍的) 权重空间(Weight-Space)视角：即对模型参数$\mathcal{W}$在非线性转换后，由$p\times 1$转换至$q\times 1$的过程。
  关于先验概率分布$\mathcal{P}(\mathcal{W})$的分布也是随着‘非线性转换’维度的变化而变化。
  $$\{\begin{array}{l}f(\mathcal{X})=[\mathcal{X}{]}_{N\times p}^T{\mathcal{W}}_{p\times 1}\\ \mathcal{Y}=f(\mathcal{X})+ϵϵ\sim \mathcal{N}(0,{\sigma }^2)\end{array}\iff \{\begin{array}{l}f(\mathcal{X})=[\varphi (\mathcal{X}){]}_{N\times q}^T{\mathcal{W}}_{q\times 1}\\ \mathcal{Y}=f(\mathcal{X})+ϵϵ\sim \mathcal{N}(0,{\sigma }^2)\end{array}$$
  从贝叶斯线性回归的两个阶段思路也可以理解：先求$\mathcal{W}$的后验，再预测样本标签。

• 函数空间(Function-Space)视角：相比于权重空间视角，它不关注模型参数$\mathcal{W}$，而是关注$f(\mathcal{X})$空间本身。
  这两种视角没有区别，结果相同。

  它将$f(\mathcal{X})$本身看做随机变量，并且$f(\mathcal{X})$本身是一个高斯过程(Gaussian Process)：
  $$f(\mathcal{X})\sim GP[m(\mathcal{X}),\kappa (\mathcal{X},x^{\prime })]$$
  从高斯过程回归的角度，可以将其看做：贝叶斯线性回归 + 核函数的延伸。

下一节将介绍从函数空间视角观察高斯过程回归。

相关参考：
机器学习-高斯过程回归-权重空间角度