高斯过程简析

前言

SLAM 方向对 Gaussian Process （GP）的需求不大，但这两年有好几篇 IROS，ICRA 的论文用高斯过程来拟合轨迹，拟合误差模型等，因此这篇笔记对高斯过程概念和原理进行简单梳理，理清楚 GP 是怎么来的，以及怎么用它。如果想更进一步系统学习下，推荐 MIT 出版的 Gaussian Processes for Machine Learning.

高斯过程是什么

高斯过程可以通俗的认为是函数拟合或回归近似，即给出变量 $\mathbf{x}$, 能预测出 $f(\mathbf{x})$。高斯分布是针对向量 $\mathbf{x}$ ，高斯过程则是对函数 $f(\mathbf{x})$。更学术一点的描述，高斯过程认为是一个服从均值是函数 $m(\mathbf{x})$，方差也是函数 $k\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)$ 的高斯分布 ，其中对任意变量 $\mathbf{x},{\mathbf{x}}^{\prime }$ 有 $m(\mathbf{x})=\mathbb{E}[f(\mathbf{x})]\text{ , }k\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=\mathrm{Cov}\left(f(\mathbf{x}),f\left(x^{\prime }\right)\right)$。

举个简单的例子，一个函数 $f(\cdot )$ 的任意有限子集 $f\left({\mathbf{x}}_1\right),\dots ,f\left({\mathbf{x}}_n\right)$ 服从多元高斯分布，则称 $f(\cdot )$ 是一个高斯过程，其中输入 ${\left\{{\mathbf{x}}_n\right\}}_{n=1}^N$ 是任意维的向量。比如，${\left\{{\mathbf{x}}_n\right\}}_{n=1}^{365}$ 表示 365 天，$f\left({\mathbf{x}}_n\right)$ 表示某天的温度。

对于 N 组 D 维的输入数据 $\mathbf{X}\in {\mathbb{R}}^{N\times D}$，每一行表示一个输入（如24个小时时间点），协方差矩阵写为：
$${\mathbf{K}}_{\mathbf{X}\mathbf{X}}=\left(\begin{array}{ccc}k\left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& \cdots & k\left({\mathbf{x}}_1,{\mathbf{x}}_N\right)\\ ⋮& \ddots & ⋮\\ k\left({\mathbf{x}}_N,{\mathbf{x}}_1\right)& \cdots & k\left({\mathbf{x}}_N,{\mathbf{x}}_N\right)\end{array}\right)$$
$k\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)$ 为核函数，通常只要求这个核函数是正定函数，好让 ${\mathbf{K}}_{\mathbf{X}\mathbf{X}}$ 符合协方差矩阵的性质。比如对于服从零均值的 1 维变量 $\left\{x_n\right\}$ ，通常会用如下的核函数 (rational quadratic covariance function, RQ)：
$$k\left(x,x^{\prime }\right)=h^2{\left(1+\frac{{\left(x-x^{\prime }\right)}^2}{2\alpha l^2}\right)}^{-\alpha }$$
其中 $h,\alpha ,l$ 为正实数，我们称之为超参数，需要通过数据来训练得到。

**所以，给定一堆已有数据，怎么预测其他数据呢？**对于给定的输入 $\mathbf{X}\in {\mathbb{R}}^{N\times D}$ 以及对应的输出 $\mathbf{f}\in {\mathbb{R}}^n$, 当给定新的数据 ${\mathbf{X}}_{\ast }$ 时，我们要能预测出对应的 ${\mathbf{f}}_{\ast }$. 将训练集和测试集联合起来，得到多元高斯分布：
$$\left(\begin{array}{c}\mathbf{f}\\ {\mathbf{f}}_{\ast }\end{array}\right)\sim \mathcal{N}\left(\left(\begin{array}{c}{\mathbf{m}}_{\mathbf{X}}\\ {\mathbf{m}}_{{\mathbf{X}}_{\ast }}\end{array}\right),\left(\begin{array}{c}{\mathbf{K}}_{\mathbf{X}\mathbf{X}}{\mathbf{K}}_{\mathbf{X}{\mathbf{X}}_{\ast }}\\ {\mathbf{K}}_{{\mathbf{X}}_{\ast }\mathbf{X}}{\mathbf{K}}_{{\mathbf{X}}_{\ast }{\mathbf{X}}_{\ast }}\end{array}\right)\right)$$
对于熟悉 SLAM 的同学来说，要从这个分布中计算出 ${\mathbf{f}}_{\ast }$, 采用舒尔补就行。从联合分布中计算 ${\mathbf{f}}_{\ast }$, 也就是算条件概率：
$$p\left({\mathbf{f}}_{\ast }|{\mathbf{X}}_{\ast },\mathbf{X},\mathbf{f}\right)=\mathcal{N}\left({\mathbf{m}}_{{\mathbf{X}}_{\ast }}+{\mathbf{K}}_{{\mathbf{X}}_{\ast }\mathbf{X}}{\mathbf{K}}_{\mathbf{X}\mathbf{X}}^{-1}\left(\mathbf{f}-{\mathbf{m}}_{\mathbf{X}}\right),{\mathbf{K}}_{{\mathbf{X}}_{\ast }{\mathbf{X}}_{\ast }}-{\mathbf{K}}_{{\mathbf{X}}_{\ast }\mathbf{X}}{\mathbf{K}}_{\mathbf{X}\mathbf{X}}^{-1}{\mathbf{K}}_{\mathbf{X}{\mathbf{X}}_{\ast }}\right)$$
对于不熟悉高斯分布这个操作的，可以参考这个回答。假设你已从训练数据中，得到了超参数，那就能用上述公司得到预测函数的分布，从而对于给定的 ${\mathbf{X}}_{\ast }$, 采样出 ${\mathbf{f}}_{\ast }$.

需要注意的是，训练的时候我们是用有噪声的数据 $y_n=f\left({\mathbf{x}}_n\right)+{ϵ}_n$ 来作为观测模型，其中 ${ϵ}_n\sim \mathcal{N}\left(0,{\sigma }_{ϵ}^2\right)$。而之前的核函数并没有假设这个噪声，因此可以将这个噪声加到协方差 ${\mathbf{K}}_{\mathbf{X}\mathbf{X}}$ 的对角元素上。

高斯过程怎么训练

有了上述铺垫，训练其实就是最小二乘拟合那些超参数了。如有如下高斯过程，
$$\begin{array}{rl}f& \sim \mathcal{G}\mathcal{P}(m,k)\\ m(x)& =a{x}^2+bx+c,\text{ and }k\left(x,x^{\prime }\right)={\sigma }_y^2\exp \left(-\frac{{\left(x-x^{\prime }\right)}^2}{2{\ell }^2}\right)+{\sigma }_{ϵ}^2{\delta }_{i{i}^{\prime }}\end{array}$$
其中，超参数为 $\theta =\left\{a,b,c,{\sigma }_y,{\sigma }_n,\ell \right\}$，对于训练集，可以最大化似然概率：
$$L=\log p(\mathbf{y}|\mathbf{x},\theta )=-\frac{1}{2}\log |K|-\frac{1}{2}(\mathbf{y}-\mathbf{m}{)}^{\top }{K}^{-1}(\mathbf{y}-\mathbf{m})-\frac{n}{2}\log (2\pi )$$
然后使用高斯牛顿或者共而梯度法求解就行，只是其中涉及到求偏导数：
$$\begin{array}{rl}\frac{\partial L}{\partial {\theta }_m}& =-(\mathbf{y}-\mathbf{m}{)}^{\top }{\Sigma }^{-1}\frac{\partial m}{\partial {\theta }_m}\\ \frac{\partial L}{\partial {\theta }_k}& =\frac{1}{2}\mathrm{trace}\left(K^{-1}\frac{\partial K}{\partial {\theta }_k}\right)+\frac{1}{2}(\mathbf{y}-\mathbf{m}{)}^{\top }\frac{\partial K}{\partial {\theta }_k}{K}^{-1}\frac{\partial K}{\partial {\theta }_k}(\mathbf{y}-\mathbf{m})\end{array}$$
通常采用数值求导或者自动微分就可以了。

结语

主要是 17 年, 1GA9 年 ICRA 有两篇关于高斯过程学习里程计误差模型的论文，以及 GTSAM 那边 Jing Dong 也有几篇把高斯过程用在 SLAM 里的，所以才有了兴趣大致梳理下这个知识。

1. 2019 ICRA， Learning Wheel Odometry and Imu Errors for Localization.
2. 2017 ICRA，Gaussian Process Estimation of Odometry Errors for Localization and Mapping

这篇博客主要参考了：

1. http://keyonvafa.com/gp-tutorial/
2. https://www.cs.ubc.ca/~hutter/EARG.shtml/earg/papers05/rasmussen_gps_in_ml.pdf