一、概述

线性回归的数据如下所示：

$D=\left \{(x_{1},y_{1}),(x_{2},y_{2}),\cdots ,(x_{N},y_{N})\right \}\\ x_{i}\in \mathbb{R}^{p},y_{i}\in \mathbb{R},i=1,2,\cdots ,N \\ X=(x_{1},x_{1},\cdots ,x_{N})^{T}=\begin{pmatrix} x_{1}^{T}\\ x_{2}^{T}\\ \vdots \\ x_{N}^{T} \end{pmatrix}=\begin{pmatrix} x_{11} & x_{12} & \cdots &x_{1p} \\ x_{21} & x_{22}& \cdots &x_{2p} \\ \vdots & \vdots & \ddots &\vdots \\ x_{N1}& x_{N2} & \cdots & x_{Np} \end{pmatrix}_{N \times p}\\ Y=\begin{pmatrix} y_{1}\\ y_{2}\\ \vdots \\ y_{N} \end{pmatrix}_{N \times 1}$

对于线性回归问题，假设：

其中是参数，是噪声。以二维的数据为例，其图像如下：

图像

从几何角度出发求解线性回归问题，可以使用最小二乘估计（Least Square Estimate，LSE），而从概率角度来看也就是噪声为高斯分布的极大似然估计（Maximum Likelihood Estimate，MLE），公式为：

为了防止过拟合的问题，采用了正则化的最小二乘估计的方法，包括Lasso正则化和Ridge正则化两种方式，这种方法从概率角度来看也就是最大后验估计（Maximum a Posteriori Estimation，MAP），其噪声也是高斯分布，这里参数的后验满足：

因此最大后验估计的公式也就是：

这里的也就是参数的先验，如果服从高斯分布，则对应Lasso正则化，如果服从拉普拉斯分布，则对应Ridge正则化。

对于上述方法的详细解释，可以参考链接：线性回归|机器学习推导系列（三）。

上述方法都是点估计方法，而在贝叶斯线性回归中我们希望利用贝叶斯学派的方法来求解出后验概率分布。

二、推断与预测

推断

贝叶斯线性回归的推断（Inference）任务也就是求解参数的后验分布。首先，进行以下变换：

对于上面得到的式子，分子中相当于似然，也就是先验（因为和没有关系），另外分母是一个常数，因此我们可以得到：

对于似然，由于之前定义的和之间的关系是一个线性高斯模型，因此可以得到：

对于先验，是人为指定的，只要合理就可以任意给定这个分布，通常我们选择高斯分布，注意这里是一个多维的高斯分布，我们选择的高斯分布均值为，方差矩阵用来表示：

因此也就得到：

由于似然和先验都是高斯分布，利用共轭的知识（高斯分布是自共轭的），我们也可以得到也是一个高斯分布，推断任务也就是求解这个高斯分布的均值和方差，我们用和来表示这个高斯分布的均值和方差：

将似然做进一步的变换，我们可以得到这个概率的均值和方差：

$P(Y|w,X)=\prod_{i=1}^{N}\frac{1}{(2\pi )^{1/2}\sigma }exp\left \{-\frac{1}{2\sigma ^{2}}(y_{i}-w^{T}x_{i})^{2}\right \}\\ =\frac{1}{(2\pi )^{N/2}\sigma ^{N}}exp\left \{-\frac{1}{2\sigma ^{2}}{\color{Red}{\sum _{i=1}^{N}(y_{i}-w^{T}x_{i})^{2}}}\right \}$

上式中红色的部分可以写成矩阵相乘的形式：

$\sum _{i=1}^{N}(y_{i}-w^{T}x_{i})^{2}=\underset{Y^{T}-w^{T}X^{T}}{\underbrace{\begin{pmatrix} y_{1}-w^{T}x_{1} & y_{2}-w^{T}x_{2} & \cdots & y_{N}-w^{T}x_{N} \end{pmatrix}}}\begin{pmatrix} y_{1}-w^{T}x_{1}\\ y_{2}-w^{T}x_{2}\\ \vdots \\ y_{N}-w^{T}x_{N} \end{pmatrix}\\ =(Y^{T}-w^{T}X^{T})(Y-Xw)\\ =(Y-Xw)^{T}(Y-Xw)$

因此也就有：

$P(Y|w,X)=\frac{1}{(2\pi )^{N/2}\sigma ^{N}}exp\left \{-\frac{1}{2\sigma ^{2}}\sum _{i=1}^{N}(y_{i}-w^{T}x_{i})^{2}\right \}\\ =\frac{1}{(2\pi )^{N/2}\sigma ^{N}}exp\left \{-\frac{1}{2\sigma ^{2}}(Y-Xw)^{T}(Y-Xw)\right \}\\ =\frac{1}{(2\pi )^{N/2}\sigma ^{N}}exp\left \{-\frac{1}{2}(Y-Xw)^{T}\sigma ^{-2}I(Y-Xw)\right \}\\ =N(Xw,\sigma ^{2}I)$

至此似然就表示成了标准的高斯分布的形式，代入后验中我们可以得到：

$P(w|Data)\propto N(Xw,\sigma ^{2}I)\cdot N(0,\Sigma _{p})\\ \propto exp\left \{-\frac{1}{2}(Y-Xw)^{T}\sigma ^{-2}I(Y-Xw)\right \}\cdot exp\left \{-\frac{1}{2}w^{T}\Sigma _{p}^{-1}w\right \}\\ =exp\left \{-\frac{1}{2\sigma ^{2}}(Y-Xw)^{T}(Y-Xw)-\frac{1}{2}w^{T}\Sigma _{p}^{-1}w\right \}\\ =exp\left \{-\frac{1}{2\sigma ^{2}}(Y^{T}Y-2Y^{T}Xw+w^{T}X^{T}Xw)-\frac{1}{2}w^{T}\Sigma _{p}^{-1}w\right \}$

对于上面的式子我们可以写出它的指数的关于的二次项和一次项：

$二次项：-\frac{1}{2\sigma ^{2}}w^{T}X^{T}Xw-\frac{1}{2}w^{T}\Sigma _{p}^{-1}w=-\frac{1}{2}w^{T}(\sigma ^{-2}X^{T}X+\Sigma _{p}^{-1})w\\ 一次项：-\frac{1}{2\sigma ^{2}}(-2Y^{T}Xw)=\sigma ^{-2}Y^{T}Xw$

对于一个多维的高斯分布的指数部分，将其展开可以得到：

$exp\left \{-\frac{1}{2}(X-\mu)^{T}\Sigma ^{-1}(X-\mu)\right \}\\ =exp\left \{-\frac{1}{2}(X^{T}\Sigma ^{-1}-\mu^{T}\Sigma ^{-1})(X-\mu)\right \}\\ =exp\left \{-\frac{1}{2}(\underset{二次项}{\underbrace{X^{T}\Sigma ^{-1}X}}\underset{一次项}{\underbrace{-2\mu^{T}\Sigma ^{-1}X}}+\mu^{T}\Sigma ^{-1}\mu)\right \}$

而这里的有关于的二次项和一次项为：

通过二次项也就可以得到后验的精度矩阵（这是一个对称矩阵）：

由一次项可以得出：

如此我们最终就求得了后验的均值和方差：

预测

预测（Prediction）问题是利用已经求解出来的贝叶斯线性回归模型，在给定的前提下，求解。要注意，由于这里的服从后验分布，因此需要求解的是分布。

首先对于，有，而服从后验分布，可以看做一个常数，因此就有：

另外有，，因此就有（两个高斯分布随机变量相加后的概率分布相当于将两个高斯分布的均值和方差均相加得到的高斯分布）：

综合一下，具体的过程为：

贝叶斯线性回归|机器学习推导系列（二十三）

一、概述

二、推断与预测

你可能感兴趣的:(贝叶斯线性回归|机器学习推导系列（二十三）)