高斯过程和机器学习1——高斯回归

introduction

监督学习一般有两种处理，一种是根据经验特点严格限制为莫一种模型和函数，比如用线性回归模型处理；另外一种就是更宽泛：给每一种函数模型一个先验概率，概率越大意味着越容易被我们采纳，意味它具有某种更好的性质，比如更为光滑（可以参考核密度估计的由来）。后者麻烦在函数模型是个无限集，如何处理？我们便推出一种【高斯过程】：是高斯分布的广义泛化。【随机过程】宽泛的解释是把函数值视为一个长的向量的多维（理论上无限维，观察上函数值实际是有限的）联合分布。他处理的正是函数分布，把刚才说的难点化为有限观察集上处理。他不管函数是什么样的模型，多项式的还是指数的还是什么的，我们只关心这些函数值是服从联合分布的来进行预测求解，这就是函数空间的无限到有限个观察集上的妙处。高斯过程就是其中一种，其有着良好的一致计算的驯良性，可以理解凡是相似的输入有相似的输出都可以这么处理，尤其是数据量越大越容易把他们的分布极限为高斯联合分布。
这种贝叶斯思想就是：把模型不固定，模型函数的参数认为是不确定，然后把这些不确定（模型即函数值，和决定具体模型函数的参数）都假设为概率分布，而观察到的数据结果是确定唯一的思想。最大后验估计到贝叶斯估计（具体的分布）
传统的函数思想：假定一个确定的模型（比如线性函数），函数参数是未知的但是确定性的，只是我们不知道待求解，最小化损失函数得出参数（一般都是均方误差等，比如最小二乘法）。
传统统计学的思想：模型函数是确定的，参数未知但是确定性的，是一个未知的确定数。但是输出结果是不确定的，即通常说的观察是有误差的，一般认为是高斯误差，所以输出是一个以真实函数值为期望的分布。即观察到的样本数据是不确定但是是最有可能的，我们做的就是把最有可能生成这些数据样本的参数求出来，比如最大似然估计。
以上模型就是函数，函数的输入输出就是样本数据x y，确定与不确定分别指是未知参数，不确定指他不是个参数而是一个分布，是概率上的意义，我们求得是这个数的期望值和置信度（方差）。
所以容易理解原文里提到神经网络无限的时候等价高斯过程回归，

贝叶斯模型的图解

a是先验的四个采样分布的图，b是有两个采样点后的后验，实线是均值的分布，阴影是两个标准差
可以看到，先验图在随机采样下仍然是光滑的，后验图在接近数据点时方差会减小。先验是具有光滑性和静态性（不正式的理解为函数值在任意x位置都是相似的接近的，差不多就是先验不了解函数信息情况下认为函数值大致都在某个数字E（f）附近分布,与x无关）。先验均值函数一般假设为0（可理解为函数取任何值概率是对等的，因为没有更多信息，0就是相当于一个0基准），所以函数四条图像在固定的x值处的平均值趋近于0.这些变化特征都是有方差函数确定，所以高斯过程学习可理解为找到合适性质的方差函数。另外高斯过程回归】是一个非参数模型，所以不大会过拟合，这里可以认为是因为有函数先验分布的正则化（惩罚项）起作用（太过于远离先验的会被拒绝）。关于【高斯过程分类】可以将函数挤压到[0 1]区间，比如通过logstic函数映射为取某类的概率。如图1.2给出二维数据的二分类

高斯过程回归

高斯过程在函数空间来看，可以理解为是关于函数的分布；在权值观点来看可以认为是各函数的加权求和。

2.1权值观点

标准的线性模型可以理解为;$f(x)={\mathbf{x}}^{\mathbf{T}}\mathbf{w},y=f(x)+ϵ一般认为ϵN(0,{\sigma }_n^2)$
其中似然分布函数为：

我们假定$\mathbf{w}\mathbf{N}(0,{\mathbf{\sigma }}_{\mathbf{p}})$根据贝叶斯规则：
$$\mathbf{p}(\mathbf{w}|\mathbf{y},\mathbf{X})=\frac{\mathbf{p}(\mathbf{y}|\mathbf{X},\mathbf{w})\mathbf{p}(\mathbf{w})}{\mathbf{p}(\mathbf{y}|\mathbf{X})}$$
分母是边缘似然函数，一般是起归一化作用，为;$\mathbf{p}(\mathbf{y}|\mathbf{X})=\int \mathbf{p}(\mathbf{y}|\mathbf{X},\mathbf{w})\mathbf{p}(\mathbf{w})\mathbf{d}\mathbf{w}$
可以看到后验是把先验和似然结合起来，似然函数是拟合数据，先验则是一种防止过拟合的惩罚项或者正则项,由上式后验为
$$\begin{gathered} \mathbf{p}(\mathbf{w}|\mathbf{y},\mathbf{X})\propto \mathbf{e}\mathbf{x}\mathbf{p}(-\frac{1}{{\mathbf{\sigma }}_{\mathbf{n}}^2}(\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{w})(\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{w}))\mathbf{e}\mathbf{x}\mathbf{p}(-\frac{1}{2}{\mathbf{w}}^{\mathbf{T}}{\mathbf{\sigma }}_{\mathbf{p}}^{-1}\mathbf{w}) \\ \propto exp(-\frac{1}{2}(w-\bar{w})A(w-\bar{w}))---2.4 \end{gathered}$$
这里$A={\sigma }_n^{-2}X{X}^T+{\sigma }_p^{-1},\bar{w}={\sigma }_n^{-2}{A}^{-1}Xy$,也就是后验分布为
$$p(w|X,y)\sim N(\bar{w},A^{-1})--2.5$$
可以看到这里max 式2.5就是最大后验估计，max 式子2.3就是最大似然估计等效于最小均方误差（最小二乘），这里矩阵可能不逆所以通常最小二乘都用迭代的方法。后验里A加入了先验的约束项，所以一定程度防止了过拟合。也可以指直接从2.4第一行看，去-log后极小化，我们看到目标函数有两项，第一项也就是第一个指数项是最大似然函数，第二项$-0.5w^T{\sigma }_p^{-1}w$就类似于我们所说的正则惩罚项。有一个例子就是【岭回归】。

a为参数服从高斯分布的先验图，b为有3个样点后的直线估计，虚线为方差，c,d为有样本点后的参数后验分布图。
预测$x_{\ast }$为
$$\begin{gathered} \mathbf{p}({\mathbf{y}}_{\ast }|{\mathbf{x}}_{\ast },\mathbf{X},\mathbf{y})=\int \mathbf{p}({\mathbf{y}}_{\ast }|{\mathbf{x}}_{\ast },\mathbf{w})\mathbf{p}(\mathbf{w}|\mathbf{X},\mathbf{y})\mathbf{d}\mathbf{w} \\ =N({\sigma }_n^{-2}{x}_{\ast }^T{A}^{-1}Xy,x_{\ast }^T{A}^{-1}{x}_{\ast }) \end{gathered}$$
我们把输入投影到特征空间
比如多项式用线性模型，就要进行特征映射$x:\varphi (x)=[1,x,x^2,x^3...{]}^T$定义$\Phi$为标量的特征函数$phi(x)$对所有x的结果矩阵（核函数矩阵，方差矩阵），那么
$f(x)=\varphi (x{)}^{T}w$
$${\mathbf{f}}_{\ast }|{\mathbf{x}}_{\ast },\mathbf{X},\mathbf{y}\sim \mathbf{N}({\mathbf{\sigma }}_{\mathbf{n}}^{-2}{\mathbf{\varphi }}_{\ast }^{\mathbf{T}}{\mathbf{A}}^{-1}\mathbf{\Phi }\mathbf{y},{\mathbf{\varphi }}_{\ast }^{\mathbf{T}}{\mathbf{A}}^{-1}{\mathbf{\varphi }}_{\ast }),here{\varphi }_{\ast }=\varphi (x_{\ast })$$
这里$A={\sigma }_n^{-2}\Phi {\Phi }^T+{\sigma }_p^{-1},\Phi =\Phi (X)$

其中$\mathbf{K}={\mathbf{\Phi }}^{\mathbf{T}}{\mathbf{\sigma }}_{\mathbf{p}}\mathbf{\Phi }$
注意到，我们的计算只是把${\mathbf{x}}_{\ast }->\mathbf{\varphi }({\mathbf{x}}_{\ast }),\mathbf{X}->\mathbf{\Phi }(\mathbf{X})$而且所有的计算都转化成了
${\varphi }_{\ast }{\sigma }_p{\varphi }_{\ast }$可能是大phi也可能小phi，定义
$$k(x,x^{\prime })=\varphi (x{)}^T{\sigma }_p\varphi (x)$$
这就是核函数技巧，往往直接用这种k函数计算比原来的计算更高效。

2.2函数空间观点

【高斯过程】定义为一串随机变量的集合，任意有限个这些随机变量组成联合高斯分布。
我们从联合分布，边缘分布，似然函数，先验分布来推导出后验分布也就是条件分布。
假设$y=[y1,y2{]}^T,\mu =[{\mu }_1;{\mu }_2],y1\sim N({\mu }_1,k11),y2\sim N({\mu }_2,k22)$联合分布为：
$$y\sim N(\mu ,\left[\begin{array}{cc}k11& k12\\ k21& k22\end{array}\right])$$
或者在我们这里预测模型里y1-x1表示已知的样本数据y2 为我们想要预测的x2 (x*)的值此时y2变成一维的了。那么可以写作
$y_{\ast }=f(x_{\ast })+ϵ\sim N({\mu }_{\ast },k(x_{\ast },x_{\ast })+{\sigma }^{2}I)$
这里把观测噪声已经加上去了，k**相当于k22，一般我们在没过多先验知识下都是假设均值期望为0即$\mu =0$
那么可以通过贝叶斯规则，即在知道y y1 y2各自分布和联合分布下求条件分布：
$$p(y2|y1)=\frac{p(y)}{p(y1)}=\frac{p(y1|y2)p(y2)}{p(y1)}$$
有2种代数方法求解后验条件分布

1. 根据分布一致性，大家都是高斯分布，然后对指数项进行配方观察二次项一次项和常数项的系数来确定正态分布的p(y2|y1)的均值和方差（详见prml书里的推导）
2. 也有根据分布都是高斯分布的特点，打洞技巧（有点逗结果的味道）或者直接通过引理，推导：
   $${\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]}^{-1}=\left[\begin{array}{cc}(A-B{D}^{-1}C{)}^{-1}& -(A-B{D}^{-1}C{)}^{-1}\\ -D^{-1}C(A-B{D}^{-1}C{)}^{-1}& D^{-1}+D^{-1}C(A-B{D}^{-1}C)B{D}^{-1}\end{array}\right]$$
   都能得到
   $${\mathbf{f}}_{\ast }|{\mathbf{x}}_{\ast },\mathbf{X},\mathbf{y}\sim \mathbf{N}({\mathbf{\mu }}_{\ast |\mathbf{N}},{\mathbf{\sigma }}_{\ast |\mathbf{N}}^2)$$
   $${\mu }_{\ast |N}={\mu }_{\ast }+K(x_{\ast },X)(K(X,X)+{\sigma }^{2}I{)}^{-1}(y_N-{\mu }_N)$$
   $${\sigma }_{\ast |N}^2=K(x_{\ast },x_{\ast })+{\sigma }^{2}I-K(x_{\ast },X)(K(X,X)+{\sigma }^{2}I{)}^{-1}K(X,x_{\ast })$$
   这里N指的就是y1已知N个数据的意思，*就是预测相当于y2的意思，下标都是条件预测，条件分布的意思就是知道N个数据下对先验$p(y_{\ast })orp(y2)$修正分布预测的意思。为方便书写，之后都约定或者简写为：
   $K_{\ast }=K_{\ast N}=K(x_{\ast },x_N),{\mu }_{\ast }={\mu }_{\ast |N}$以此类推。
   那么我还可以把上式写作(一般先验假定均值${\mu }_{\ast }$为0)：
   ${\mu }_{\ast }=K_{\ast }^T\alpha$ or ${\mu }_{\ast }=\beta y$
   也就是我们既可以看作输出预测为数据y的线性组合也可以看作是核函数的线性组合，所以高斯过程和贝叶斯线性模型是等价的
   原文还提到联合分布与独自分布都属于高斯分布的情形也就是大的变量集合的分布不会改变小的子集的分布，就是不管有多少数据服从联合高斯，子集y1或者y2等服从的分布不变。另外SE方差核函数等价于无限基函数的贝叶斯线性回归模型。
   
   a为先验的高斯联合分布的采样，b为有几个采样点后的后验分布。

GPR算法流程

综上，我们得到GPR算法流程，这和其对应的matlab-tool里gp.m是一致的

其中$f_{\ast }$对应无观测噪声的情况，那样实际观测值$y_{\ast }=f_{\ast }+ϵ,ϵ\sim N(0,{\sigma }_n^2)$参数估计采用似然估计（核函数里面还是有参数，尽管我们已经用了先验联合分布的高斯过程还是会有参数），一般最小化其负对数的似然函数为
$log(p(y|X))=-\frac{1}{2}{y}^T(K+{\sigma }_n^{2}I{)}^{-1}y-0.5log|K+{\sigma }_n^{2}I|-0.5Nlog(2\pi )$
其中算法图里，矩阵求逆采用chol分解会更加数值稳定精确和速度更快，其中第2行chol分解$O(\frac{1}{6}{N}^3)$第3行第5行为$O(0.5N^2)$

改变超参数

这里核函数为$\mathbf{k}(\mathbf{x},{\mathbf{x}}^{\prime })={\mathbf{\sigma }}_{\mathbf{f}}^2\mathbf{e}\mathbf{x}\mathbf{p}(-\frac{(\mathbf{x}-{\mathbf{x}}^{\prime }{)}^2}{2\mathbf{l}})+{\mathbf{\sigma }}_{\mathbf{n}}^2{\mathbf{\delta }}_{\mathbf{x}{\mathbf{x}}^{\prime }}$delta函数为当x=x’时取1否则为0.
这里简单说一下，lenth-scale也就是L影响着函数的摆动，他相当于半径$r=|x-x^{\prime }|$的尺度缩放因子，其越小，函数摆动越大，而且倾向于将观测噪声${\sigma }_n$方差拉小。太大就反之变化缓慢，可以理解为x要变化很大才算变化否则就像当于x x’很近没变化。

决策理论

非贝叶斯方法中通常都用经验损失函数或者经验风险函数来决策出最佳预测值，贝叶斯则用似然函数（用于训练集，不含先验）决策，明显截然不同。似然函数描述了相对于真实函数值的噪声测度（噪声影响多少）。
通常我们都用最小化期望损失函数决策函数来给出最终的关于x*的最佳猜测值即y_guess（这里不仅仅有释然函数还加上了传统的决策函数）
$min:E_{l}oss=\int loss(y_{\ast },y_{guess})p(y_{\ast }|x_{\ast },X,y)d{y}_{\ast }$
通常loss函数选择为$0.5|y_{\ast }-y_{guess}|or(y_{\ast }-y_{guess}{)}^2$

对于前者决策函数得出的y_guess为分布$p(y_{\ast }|x_{\ast },D)$的中值，后者得到的恰好是$p(y_{\ast }|x_{\ast },D)$的均值mu也就是期望。
可以看到二次决策函数下高斯回归得到的期望mu值和传统的二次决策函数的最优值是一致的（最小二乘等价），注意前面推导出的$p(y_{\ast }|x_{\ast },D)$是关于输出值的概率分布，期望为$\mu$但是有方差这一置信度，并不代表就是输出值。对于最终的输出去多少为好是根据得到的分布去得到的，这取决于决策（风险）函数怎么选取，参考上面最小化期望风险。一般我们认为取值为期望这是和传统方法里的最小二乘法结果一致的（都选择了二次决策函数情况下），但是贝叶斯的方法还给出了误差估计，即相当于${\sigma }^2$方差。而且这里举列子说的决策函数是对称的（yy_guess互换位置不变），所以结果必然是和y的分布期望mu有关，而且会是线性有关，取决于决策函数的幂数。但是往往也有不对称的决策函数，比如我们只要大于y的猜测y-guess，比如在涉及安全问题，我们肯定不会要低于期望$\mu$的值，否则后果不可估量。又比如在贝叶斯优化里的EI函数就是expect improvement我们就是只看函数在x点能期望提升多少，不能提升的都是没用的都认为EI=0，这种优化决策也是不对称的。

平滑器的解释

前面有粗布说到高斯过程回归是线性平滑器，我们这里给出初步的理论解释。
$\bar{f}={\mu }_{\ast }=K_{\ast N}(K+{\sigma }_n^{2}I{)}^{-1}y$
对K做【特征值分解】，注意到K对称半正定，特征向量单位正交，特征值非负，容易推导出有
$$\mathbf{K}=\sum _{\mathbf{i}=1}^{\mathbf{n}}{\mathbf{\lambda }}_{\mathbf{i}}{\mathbf{u}}_{\mathbf{i}}{\mathbf{u}}_{\mathbf{i}}^{\mathbf{T}}$$
令$\mathbf{y}=\sum {\mathbf{\gamma }}_{\mathbf{i}}{\mathbf{u}}_{\mathbf{i}}$可以得到${\gamma }_i=u_i^{T}y$则有
$\bar{f}={\sum }_i^n\frac{{\gamma }_i{\lambda }_i}{{\lambda }_i+{\sigma }_n^2}{u}_i={\beta }_i{u}_i$
可以看到当系数KaTeX parse error: Expected 'EOF', got '\g' at position 1: \̲g̲_i/(\lambda_i+\…也就是噪声相对大于某特征值时，y在K空间的投影对于特征向量ui的分量趋近于无。特征值小的分量意味着该特征方向频率较大，实际中大多数方差函数就是这样，特征值小对应特征向量变化缓慢即很少穿过零点。特征值小意味着y在k空间的高频分量被平滑掉了（没有了）
平滑器自由度可以定义为：$tr(K(k+{\sigma }_n^{2}I{)}^{-1})=\sum ({\lambda }_i/({\lambda }_i+{\sigma }_n^2))$他数量上相当于没有被平滑掉的特征向量的数量（当特征值都不算太小，相对于噪声，那么上述求和项就近似为1了，所以等价于未被平滑的特征向量的数量）。
再把上式写作$\bar{f}=h(x_{\ast }{)}^{T}y$h可以被称之为权值函数，他是于y无关的，注意到传统的线性组合模型都是输入x的线性组合，而一个线性平滑器这里就是GPR都是目标值y的线性组合。同时K矩阵只与输入x的位置有关，因此可以说这种平滑处理其实就是把观测密集地方的数据给平滑了，也就是给抹除了。（观测密集的地方，对应着有很多样本数据x y相同或者说非常相似接近，也就是说他们是高频率的对应的k的特征值分量很小）
令$k_i=k(|x_i-x_{\ast }|/l),\bar{f}(x_{\ast })=\sum w_i{y}_i,w_i=k_i/\sum k_j$
上面的k函数是不含噪声的SE核函数，用它和h(x*)权值函数等效就相当于平滑器的等效核函数了。

实线是等效核函数（不含噪声），虚线是真实的核函数即$\mathbf{h}({\mathbf{x}}_{\ast })\mathbf{h}({\mathbf{x}}_{\ast }{)}^{\mathbf{T}}$,图a，x*=0.5，sn2=0.1图b,x*=0.05,sn2=0.1。图c，sn2=10图d是数据量n增大.可以看到噪声较小是等效核函数剧烈震荡，甚至为负。噪声大的时候等效核函数和实际含噪声的核函数会比较接近，也就实线了平滑化，当区间内数据点增多时，两者都会震荡而且幅度差距会比较大，说明数据取得太密了。可以理解当噪声太小或者数据过密意味着数据更真实更趋向于过拟合样本，所以会抖动。
关于这一点，本人在实验过程中也发现过类似想象不过一直没有理论的解释，一直姑且直观的认为是当噪声较大时其可以添补抹平函数的过小的细节部分（见我的gp存图）。可以想象当数据有重叠或者相似的时候意味着K矩阵的某些行是线性相关的，尽管在加了对角噪声后矩阵可逆了，但是那几行因为线性相关特征向量是一样的，意味着高频，在加权求和过程中会相互抵消。意味着重复雷同的数据将会被视为无效数据噪声越大不仅起到防止矩阵奇异的作用，还保证了数值稳定性和拟合平滑性，某种程度上有防止过拟合作用。这究竟算好事还是坏事呢?一方面这避免了冗余无效数据的干扰，平滑，防止过拟合，另外一方面他会让主要数据无效丢失作用，加入某个系统输入输出本就就都很狭窄相似呢？下图是0.5sin(15x)sin(27x)的预测图，上图sn=0.001,下图是sn=0.6很大，所以太过于平滑即f各处都接近，这样虽然不准确但是也能起到防止局部最优（全局最优点还是没变在0.3附近）

原文还讲到用网格化的方式做等效核函数，不太明白，略了

历史和相关工作