白给的神经过程Neural Processes笔记

前言

神经过程neural processes, NP 是2018年ICML会议上提出的一种新的神经网络范式，总的来说是将高斯过程Gaussian Processes, GP 网络化，从而降低GP对计算量的要求。GP的好处是天然地能够对预测的结果给出一个置信度的评分，即uncertainty or confidence， 而且GP模型是non parametric的，会根据输入样例自动抽取规律，不断更新自己的预测信息。相比之下，一般的神经网络在训练结束后，模型参数将被固定，无法一直学习。下文首先介绍GP的基础知识，然后过渡到NP模型，中间会插入一些toy example，即小的例子，来更深入地理解GP和NP模型的特点。讲解的过程中会有很多个人的观点且需要有一点点概率论和信号估计理论的基础知识，如有错误欢迎指正和讨论。

1. Gaussian Process (GP)

Gaussian Process的定义：如果对于任意的子集$\{x_1,x_2,\cdots ,x_n\}\subset \mathcal{X}$, 采样一个$\mathcal{X}\to \mathbb{R}$的映射函数$f\sim p(f)$, 记$\mathbf{f}=\left(f(x_1),f(x_2),\cdots ,f(x_n)\right)\in {\mathbb{R}}^n$, 都有$\mathbf{f}\sim \mathcal{N}(\cdot ,\cdot )$, 即 $p(f)$服从多元高斯分布(multivariate Gaussiandistribution)。那么称$p(f)$是高斯过程Gaussian Process

上面的定义应该怎么理解呢？最后一句表明， 高斯过程是一个概率分布$p(f)$，而这个概率分布对应的随机变量是一个函数$f$。这是高斯过程相对于其他机器学习模型最大的不同点，我们所熟知的机器学习模型都是先假设模型能够完全拟合输入输出数据，然后训练或迭代模型参数，这种学习范式对应的函数$f$是确定的，通过样本数据学习模型的参数，优化目标是由先验知识确定的模型的参数。一种另辟蹊径的方法是将拟合输入输出数据的函数作为优化目标，这个目标是函数本身也就是模型本身，是数学上的泛函问题。然而这个函数的候选者数量是无限的，函数形式是未知的。高斯过程模型则是将这种一般化的思路，加入了前提和假设，使得构造的问题能够被求解出来。高斯过程以概率为框架，将输入$x$输出$y$的回归问题转化为寻找这个未知的函数$f$，其中$y=f(x)$，的概率分布问题，然后以假定观测值$y$经过$f$映射后组成的随机序列满足多元高斯分布。基于此利用贝叶斯定理和多元高斯函数的边缘分布marginalizatiion distribution和条件分布conditioning distribution求解问题。下面我们将对整个求解过程逐一展开。(PS: 从名字上理解，高斯过程和随机过程，这里的过程应该是抽样这个动作的意思，随机过程的定义是在一个变量集合里面随机采样出一个变量的过程; 所以对应地高斯过程可以理解为在一组由无限个可能的均值 $\mu$ 和无限个可能的方差 $\Sigma$ 组合成的多元高斯函数集合中采样出一个符合给定输入样例的函数的过程。)

1.0 预备知识

预备知识可以参考这条有趣的链接：https://jgoertler.com/visual-exploration-gaussian-processes/

• 多元高斯函数（multi-variate Gaussian function）的数学描述：
  $$\mathbf{x}={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]}^T\sim {\mathcal{N}}_{\mathbf{x}}(\mu ,\Sigma )$$
  多元高斯函数也叫多元正态分布函数，其中
  $${\mathcal{N}}_{\mathbf{x}}(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{n/2}|\Sigma {|}^{1/2}}exp\left(-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\right)$$
  $|\Sigma |$ 表示计算 $\Sigma$ 矩阵的行列式（determination），$\mu =\mathbb{E}[\mathbf{x}]$ 是随机变量 $\mathbf{x}$ 的期望（expectation），在高斯函数中也叫均值。这里我们可以类比联想两个随机变量的协方差矩阵Covariance matrix，计算的是两个随机变量各个维度两两之间的相关程度：
  $$Cov(\mathbf{x},\mathbf{y})=\mathbb{E}\left[(\mathbf{x}-\mathbb{E}[\mathbf{x}])(\mathbf{y}-\mathbb{E}[\mathbf{y}])\right]=\mathbb{E}[\mathbf{xy}]-\mathbb{E}[\mathbf{x}]\mathbb{E}[\mathbf{y}]$$
  而 $\Sigma =Cov(\mathbf{x},\mathbf{x})=\mathbb{E}\left[(\mathbf{x}-\mu )(\mathbf{x}-\mu {)}^T\right]=\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]-\mu {\mu }^T$ 为协方差，计算的是一个自相关矩阵，是一个对称的正定矩阵，对于任意的一个随机向量的协方差矩阵，它都是半正定矩阵。
• 多元高斯函数的边缘分布：
  假设随机变量拆分为两部分 $\mathbf{x}$ 和 $\mathbf{y}$，那么多元高斯函数的数学描述形式可以改写如下：
  $$\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}{\mu }_{\mathbf{x}}\\ {\mu }_{\mathbf{y}}\end{array}\right],\left[\begin{array}{cc}{\Sigma }_{\mathbf{xx}}& {\Sigma }_{\mathbf{xy}}\\ {\Sigma }_{\mathbf{yx}}& {\Sigma }_{\mathbf{yy}}\end{array}\right]\right)$$
  记$x$ 和 $y$ 分别为随机变量 $\mathbf{x}$ 和 $\mathbf{y}$ 采样后的具体值，realization sample。假设随机变量序列 $\mathbf{x}$ 和 $\mathbf{y}$（或说样本）之间独立同分布（identity independent distribution, iid.），则有$p_{\mathbf{xy}}(x,y)=p_{\mathbf{y}|\mathbf{x}}(y|x)p_{\mathbf{x}}(x)=p_{\mathbf{x}|\mathbf{y}}(x|y)p_{\mathbf{y}}(y)$：
  $$p_{\mathbf{x}}(x)={\int }_y{p}_{\mathbf{xy}}(x,y)dy={\int }_y{p}_{\mathbf{x}|\mathbf{y}}(x|y)p_{\mathbf{y}}(y)dy$$
  其中，$p_{\mathbf{xy}}(x,y)$ 表示两个随机变量的联合概率分布， $p_{\mathbf{x}|\mathbf{y}}(x|y)$ 表示给定$y$ 的情况下随机变量 $\mathbf{x}$ 的条件概率分布 （conditioned on $\mathbf{y}$），而 $p_{\mathbf{x}}(x)$ 和 $p_{\mathbf{y}}(y)$ 分别表示随机变量 $\mathbf{x}$ 和 $\mathbf{y}$ 相对于联合概率分布的边缘概率分布。
• 多元高斯函数的条件分布：
  利用贝叶斯条件概率公式和高斯函数运算的一些基本法则：
  $$p(x|y)=\frac{p(x,y)}{p(y)}=\frac{p(y|x)p(x)}{p(y)}$$
  经过整理可以得到条件概率的计算结果如下：
  $$\begin{array}{rl}\mathbf{x}|\mathbf{y}& \sim \mathcal{N}\left({\mu }_{\mathbf{x}}+{\Sigma }_{\mathbf{xy}}{\Sigma }_{\mathbf{yy}}^{-1}(\mathbf{y}-{\mu }_{\mathbf{y}}),{\Sigma }_{\mathbf{xx}}-{\Sigma }_{\mathbf{xy}}{\Sigma }_{\mathbf{yy}}^{-1}{\Sigma }_{\mathbf{yx}}\right)\\ \mathbf{y}|\mathbf{x}& \sim \mathcal{N}\left({\mu }_{\mathbf{y}}+{\Sigma }_{\mathbf{yx}}{\Sigma }_{\mathbf{xx}}^{-1}(\mathbf{x}-{\mu }_{\mathbf{x}}),{\Sigma }_{\mathbf{yy}}-{\Sigma }_{\mathbf{yx}}{\Sigma }_{\mathbf{xx}}^{-1}{\Sigma }_{\mathbf{xy}}\right)\end{array}$$
  上面的整理结果将会在高斯过程回归（Gaussian process regression, GPR）中经常使用。

1.1 问题描述

为了更好地理解高斯过程，我们首先从实际用例出发现构建一个回归问题：

给定一组输入输出样例数据$\{(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\}$，其中$x_i$为输入，$y_i$为输出，现给定新的输入$x^{\prime }$，预测$y^{\prime }$。

这是典型的回归问题，问题的核心在于通过数据驱动的方式拟合出输入输出的映射关系 $f$，使得 $y^{\prime }=f(x^{\prime })$ 。记 $\mathbf{y}=(y_1,y_2,\cdots ,y_n)$， $\mathbf{x}=(x_1,_{x_2,}\cdots,~x_n); $\mathcal{G}\mathcal{P}(\cdot |\mu (\mathbf{x}),\Sigma (\mathbf{x}))$ 为一个以输入 $\mathbf{x}$ 为条件的多元高斯函数集合。高斯过程首先假设输出序列 $\mathbf{y}$ 服从多元高斯分布（现实世界中往往不完全符合，但是为了求解问题，当我们决定使用GP这种方法的时候就已经默认 $\mathbf{y}$ 是近似服从多元高斯分布）。

TBD 。。。