贝叶斯线性回归---ML作业5

贝叶斯线性回归

注意：粗体的都是向量或矩阵，非粗体的为标量
example: $y$为标量， 而 $\mathbf{y}$ 为向量

我们使用贝叶斯估计方法学习线性回归的参数。在线性回归中，我们学习从输入向量 $\mathbf{x}\in {\mathbb{R}}^n$预测标量 $y\in \mathbb{R}$的线性映射。即假设 $p(y)=\mathcal{N}(y;{\mathbf{w}}^{\mathbf{T}}\mathbf{x},{\sigma }^2)$
该预测由向量 $\mathbf{w}\in {\mathbb{R}}^n$ 参数化：
$$\hat{y}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}$$
给定一组$m$个训练样本$({\mathbf{X}}^{(train)},{\mathbf{y}}^{train})$,我们可以表示整个训练集对$y$的预测：
$${\hat{\mathbf{y}}}^{(train)}={\mathbf{X}}^{(train)}\mathbf{w}.$$
表示为${\mathbf{y}}^{(train)}$上的高斯条件分布，我们得到
$$\begin{array}{rl}p\left({\mathbf{y}}^{(\text{train })}\mid {\mathbf{X}}^{(\text{train })},\mathbf{w}\right)& =\mathcal{N}\left({\mathbf{y}}^{\text{(train) })};{\mathbf{X}}^{(\text{train })}\mathbf{w},{\sigma }^2\mathbf{I}\right)\\ & \propto \exp \left(-\frac{1}{2}{\left({\mathbf{y}}^{(\text{train })}-{\mathbf{X}}^{\text{(train })}\mathbf{w}\right)}^{\top }\left({\mathbf{y}}^{(\text{train })}-{\mathbf{X}}^{(\text{train })}\mathbf{w}\right)\right)\end{array}$$

其中，我们根据标准的 MSE 公式假设 $y$ 上的高斯方差为 ${\sigma }^2$。在下文中，为减少符号
负担，我们将$({\mathbf{X}}^{(train)},{\mathbf{y}}^{train})$,简单表示为$(\mathbf{X},\mathbf{y})$。
由上可得$\mathbf{y}\sim \mathcal{N}(\mathbf{Xw},{\sigma }^2\mathbf{I})$

为确定模型参数向量 $\mathbf{w}$ 的后验分布，我们首先需要指定一个先验分布。先验应
该反映我们对这些参数取值的信念。虽然有时将我们的先验信念表示为模型的参数很难或很不自然，但在实践中我们通常假设一个相当广泛的分布来表示 $\mathbf{\theta }$ 的高度不确定性。实数值参数通常使用高斯作为先验分布：

$$p(\mathbf{w})=\mathcal{N}\left(\mathbf{w};{\mathbf{\mu }}_0,{\mathbf{\Lambda }}_0\right)\propto \exp \left(-\frac{1}{2}{\left(\mathbf{w}-{\mathbf{\mu }}_0\right)}^{\top }{\mathbf{\Lambda }}_0^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_0\right)\right)$$

其中，${\mathbf{\mu }}_0$ 和 ${\mathbf{\Lambda }}_0$分别是先验分布的均值向量和协方差矩阵

除非有理由使用协方差矩阵的特定结构，我们通常假设其为对角协方差矩阵 ${\mathbf{\Lambda }}_0$ = $\mathrm{diag}({\mathbf{\lambda }}_0)$。

确定好先验后，我们现在可以继续确定模型参数的后验分布。
数据集：$D=\left\{\mathbf{X},\mathbf{y}\right\}={\left\{<{\mathbf{x}}_i,y_i>\right\}}_{i=1}^n$, 其中 ${\mathbf{x}}_i\in {\mathbb{R}}^n$, $y_i\in \mathbb{R}$
$$\begin{array}{rl}p(\mathbf{w}\mid \mathbf{X},\mathbf{y})& =p(\mathbf{w}\mid D)--->(贝叶斯公式)\\ & =\frac{p(\mathbf{w},D)}{p(D)}\\ & =\frac{p(D\mid \mathbf{w})p(\mathbf{w})}{p(D)}①\end{array}$$
而$p(D\mid \mathbf{w})=p(\mathbf{y}\mid \mathbf{X},\mathbf{w})=\mathcal{N}(\mathbf{y}\mid \mathbf{Xw},{\sigma }^2\mathbf{I})②$
所以由①②得：
$p(\mathbf{w}\mid \mathbf{X},\mathbf{y})=\frac{p(\mathbf{y}\mid \mathbf{X},\mathbf{w})p(\mathbf{w})}{p(D)}\propto p(\mathbf{y}\mid \mathbf{X},\mathbf{w})p(\mathbf{w})$

因为$p(D)$为一个定值，确定模型参数的后验分布不产生影响，也就是说，在求${\mathbf{w}}_{\mathbf{MAP}}=\underset{\mathbf{w}}{\mathrm{argmax}}p(\mathbf{w}\mid D)$时，$p(D)$对$w$来说是一个常量乘项,因为后面是要求最大后验概率。

emm这一点不知道大家能不能理解，就是相当于求$y=m(x^2+2x+1)$的极值与求$y=x^2+2x+1$的极值是等价的，$m$并不影响求其极值

$$\begin{array}{rl}p(\mathbf{w}\mid \mathbf{X},\mathbf{y})& =p(\mathbf{w}\mid D)\\ & \propto p(\mathbf{y}\mid \mathbf{X},\mathbf{w})p(\mathbf{w})\\ & \propto \exp \left(-\frac{1}{2}(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^{\top }(\mathbf{y}-\mathbf{X}\mathbf{w})\right)\exp \left(-\frac{1}{2}{\left(\mathbf{w}-{\mathbf{\mu }}_0\right)}^{\top }{\mathbf{\Lambda }}_0^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_0\right)\right)\\ & \propto \exp \left(-\frac{1}{2}\left(-2{\mathbf{y}}^{\top }\mathbf{X}\mathbf{w}+{\mathbf{w}}^{\top }{\mathbf{X}}^{\top }\mathbf{X}\mathbf{w}+{\mathbf{w}}^{\top }{\mathbf{\Lambda }}_0^{-1}\mathbf{w}-2{\mathbf{\mu }}_0^{\top }{\mathbf{\Lambda }}_0^{-1}\mathbf{w}\right)\right).\end{array}$$

现在我们定义${\mathbf{\Lambda }}_{\mathbf{m}}=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+{\mathbf{\Lambda }}_0^{-1}{)}^{-1}$ 和 ${\mathbf{\mu }}_{\mathbf{m}}={\mathbf{\Lambda }}_{\mathbf{m}}({\mathbf{X}}^{\mathbf{T}}\mathbf{y}+{\mathbf{\Lambda }}_0^{-1}{\mathbf{\mu }}_0)$ 。使用这些新的变量，我们发现后验可改写为高斯分布：
$$\begin{array}{rl}p(\mathbf{w}\mid \mathbf{X},\mathbf{y})& \propto \exp \left(-\frac{1}{2}{\left(\mathbf{w}-{\mathbf{\mu }}_m\right)}^{\top }{\mathbf{\Lambda }}_m^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_m\right)+\frac{1}{2}{\mathbf{\mu }}_m^{\top }{\mathbf{\Lambda }}_m^{-1}{\mathbf{\mu }}_m\right)\\ & \propto \exp \left(-\frac{1}{2}{\left(\mathbf{w}-{\mathbf{\mu }}_m\right)}^{\top }{\mathbf{\Lambda }}_m^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_m\right)\right)\end{array}③$$

分布的积分必须归一这个事实意味着要删去所有不包括参数向量 $\mathbf{w}$ 的项。式③显示了如何标准化多元高斯分布。

$p(\mathbf{w}\mid \mathbf{X},\mathbf{y})\propto \exp \left(-\frac{1}{2}{\left(\mathbf{w}-{\mathbf{\mu }}_m\right)}^{\top }{\mathbf{\Lambda }}_m^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_m\right)\right)$
求最大后验概率${\mathbf{w}}_{\mathbf{MAP}}$，等价于求

$\begin{array}{rl}{\mathbf{w}}_{\mathbf{MAP}}& =\underset{w}{\mathrm{argmax}}p(\mathbf{w}\mid \mathbf{X},\mathbf{y})\\ & \propto \underset{w}{\mathrm{argmax}}\exp \left(-\frac{1}{2}{\left(\mathbf{w}-{\mathbf{\mu }}_m\right)}^{\top }{\mathbf{\Lambda }}_m^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_m\right)\right)\\ & \propto \underset{w}{\mathrm{argmin}}{\left(\mathbf{w}-{\mathbf{\mu }}_m\right)}^{\top }{\mathbf{\Lambda }}_m^{-1}\left(\mathbf{w}-{\mathbf{\mu }}_m\right)\\ & \propto \underset{w}{\mathrm{argmin}}\left({\mathbf{w}}^T{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}-{\mathbf{w}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}{\mathbf{\mu }}_{\mathbf{m}}-{\mathbf{\mu }}_{\mathbf{m}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}+{\mathbf{\mu }}_{\mathbf{m}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}{\mathbf{\mu }}_{\mathbf{m}}\right)\\ & \propto \underset{w}{\mathrm{argmin}}\left({\mathbf{w}}^T{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}-{\mathbf{w}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}{\mathbf{\mu }}_{\mathbf{m}}-{\mathbf{\mu }}_{\mathbf{m}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}\right)\end{array}$

记 $\mathbf{L}(\mathbf{w})={\mathbf{w}}^T{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}-{\mathbf{w}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}{\mathbf{\mu }}_{\mathbf{m}}-{\mathbf{\mu }}_{\mathbf{m}}^{\mathbf{T}}{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}$

$\begin{array}{rl}\frac{\partial \mathbf{L}(\mathbf{w})}{\partial \mathbf{w}}& ={\mathbf{\Lambda }}_{\mathbf{m}}^{-1}\mathbf{w}+{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}}\mathbf{w}-{\mathbf{\Lambda }}_{\mathbf{m}}^{-1}{\mathbf{\mu }}_{\mathbf{m}}-{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}}{\mathbf{\mu }}_{\mathbf{m}}\\ & =({\mathbf{\Lambda }}_{\mathbf{m}}^{-1}+{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}})\mathbf{w}-({\mathbf{\Lambda }}_{\mathbf{m}}^{-1}+{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}}){\mathbf{\mu }}_{\mathbf{m}}\end{array}$

令$\frac{\partial \mathbf{L}(\mathbf{w})}{\partial \mathbf{w}}=0$

$({\mathbf{\Lambda }}_{\mathbf{m}}^{-1}+{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}})\mathbf{w}=({\mathbf{\Lambda }}_{\mathbf{m}}^{-1}+{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}}){\mathbf{\mu }}_{\mathbf{m}}$

两边同时左乘${({\mathbf{\Lambda }}_{\mathbf{m}}^{-1}+{\mathbf{\Lambda }}_{\mathbf{m}}^{-\mathbf{T}})}^{-1}$可得：
$$\mathbf{w}={\mathbf{\mu }}_{\mathbf{m}}$$

又因为${\mathbf{\Lambda }}_{\mathbf{m}}=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+{\mathbf{\Lambda }}_0^{-1}{)}^{-1}$ ， ${\mathbf{\mu }}_{\mathbf{m}}={\mathbf{\Lambda }}_{\mathbf{m}}({\mathbf{X}}^{\mathbf{T}}\mathbf{y}+{\mathbf{\Lambda }}_0^{-1}{\mathbf{\mu }}_0)$，如果我们设置 ${\mathbf{\Lambda }}_0=\frac{1}{\alpha }\mathbf{I}$，
则$\mathbf{w}=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\alpha \mathbf{I}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$。

至此上面的公式推导完毕！！！

检查此后验分布可以让我们获得贝叶斯推断效果的一些直觉。大多数情况下，我们设置 ${\mathbf{\mu }}_0=0$。

如果我们设置 ${\mathbf{\Lambda }}_0=\frac{1}{\alpha }\mathbf{I}$，那么 ${\mathbf{\mu }}_{\mathbf{m}}$ 对 $\mathbf{w}$ 的估计就和频率派带权重衰减惩罚 $\alpha {\mathbf{w}}^{\mathbf{T}}\mathbf{w}$ 的线性回归的估计是一样的。

一个区别是若 $\alpha$ 设为 0 则贝叶斯估计是未定义的——我们不能将贝叶斯学习过程初始化为一个无限宽的 $\mathbf{w}$ 先验。更重要的区别是贝叶斯估计会给出一个协方差矩阵，表示 $\mathbf{w}$ 所有不同值的可能范围，而不仅是估计 ${\mathbf{\mu }}_{\mathbf{m}}$。