联合高斯分布与条件高斯分布的相关性质（贝叶斯线性模型）

贝叶斯一般线性模型(Bayesian general linear model)

贝叶斯线性模型可以表征为：
$$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{w}\text{\hspace{1em}(1)}$$

其中$\mathbf{y}\in {\mathbb{R}}^N$，$\mathbf{H}\in {\mathbb{R}}^{N\times p}$已知，$\mathbf{x}\in {\mathbb{R}}^p$且$\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_{\mathbf{x}},{\mathbf{C}}_{\mathbf{x}})$，$\mathbf{w}\in {\mathbb{R}}^N$是噪声向量，$\mathbf{w}\sim \mathcal{N}(0,{\mathbf{C}}_{\mathbf{w}})$，$\mathbf{x}$与$\mathbf{w}$相互独立。与传统的线性模型相比，贝叶斯线性模型将$\mathbf{x}$看作是一个随机向量。

我们考虑$\mathbf{x},\mathbf{y}$的联合概率分布，令$\mathbf{z}=[{\mathbf{y}}^T,{\mathbf{x}}^T{]}^T$，则
$$\begin{array}{rl}\mathbf{z}& =\left[\begin{array}{c}\mathbf{H}\mathbf{x}+\mathbf{w}\\ \mathbf{x}\end{array}\right]\\ & =\left[\begin{array}{cc}\mathbf{H}& {\mathbf{I}}_N\\ {\mathbf{I}}_p& 0\end{array}\right]\left[\begin{array}{c}\mathbf{x}\\ \mathbf{w}\end{array}\right]\\ & =\mathbf{A}\left[\begin{array}{c}\mathbf{x}\\ \mathbf{w}\end{array}\right]\end{array}\text{\hspace{1em}(2)}$$

因为$\mathbf{x}$与$\mathbf{w}$都服从高斯分布且各自独立，所以$[{\mathbf{x}}^T,{\mathbf{w}}^T{]}^T$的联合分布也是高斯，因为$\mathbf{z}$是由$[{\mathbf{x}}^T,{\mathbf{w}}^T{]}^T$经过线性变换(矩阵$\mathbf{A}$)得到的，所以$\mathbf{z}$也服从高斯分布。关于高斯线性变换的性质，我们利用矩母函数，做出如下解释和证明。

高斯随机向量的线性变换仍为高斯：解释与证明
给定随机变量$X\sim f_X(x)$，其矩母函数为：
$$\begin{array}{rl}{\varphi }_X(w)& =\int f_X(x)e^{jwx}\text{d}x\\ & =\mathbb{E}\left[e^{jwx}\right]\end{array}$$

我们假设
$$\mathbf{X}\in {\mathbb{R}}^N,\mathbf{X}\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma }),\mathbf{Y}=\mathbf{A}\mathbf{X}\in {\mathbb{R}}^m,\mathbf{A}\in {\mathbb{R}}^{m\times n}$$

由于矩阵$\mathbf{A}$不是方阵，无法从概率密度函数的角度分析$\mathbf{Y}$的分布，我们借助矩母函数：
$$\begin{array}{rl}{\varphi }_{\mathbf{Y}}(\mathbf{w})& =\mathbb{E}\left[\exp (j{\mathbf{w}}^T\mathbf{y})\right]\\ & =\mathbb{E}\left[\exp (j{\mathbf{w}}^T\mathbf{A}\mathbf{x})\right]\\ & =\mathbb{E}\left[\exp (j({\mathbf{A}}^T\mathbf{w}{)}^T\mathbf{x})\right]\\ & ={\varphi }_{\mathbf{X}}({\mathbf{A}}^T\mathbf{w})\\ & =\exp (j{\mathbf{w}}^T\mathbf{A}\mathbf{\mu }-\frac{1}{2}{\mathbf{w}}^T{\mathbf{A}\mathbf{\Sigma }\mathbf{A}}^T\mathbf{w})\\ \Rightarrow \mathbf{Y}& \sim \mathcal{N}(\mathbf{A}\mathbf{\mu },{\mathbf{A}\mathbf{\Sigma }\mathbf{A}}^T)\end{array}\text{\hspace{1em}(3)}$$

因此高斯分布的线性变换仍然是高斯的。反过来，我们可以通过构造矩阵$\mathbf{A}$来求解边际概率，比如要求$x_1$的边际概率，只需把矩阵$\mathbf{A}$构造为第一个对角元素为1，其他元素都为0的矩阵即可。可以表述为：如果联合分布是高斯分布，则边际分布一定是高斯分布。但是反过来不一定成立：如果边际分布是高斯分布，则联合分布不一定是高斯分布，反例如下：构造
$$f_{X_1,X_2}(x_1,x_2)=\frac{1}{2\pi }\exp \left(-\frac{x_1^2+x_2^2}{2}\right)+K(x_1,x_2)$$

其中
$$\int K(x_1,x_2)\text{d}{x}_1=\int K(x_1,x_2)\text{d}{x}_2=0$$

那么关于$x_1,x_2$的边际分布是高斯分布，但是不满足高斯分布的一种构造方式为：
$$f_{X_1,X_2}(x_1,x_2)=\frac{1}{2\pi }\exp \left(-\frac{x_1^2+x_2^2}{2}\right)(1+\sin x_1\sin x_2)$$

可以看出，构造的例子满足边际概率为高斯分布，但是不满足联合概率为高斯。

贝叶斯线性模型下的联合高斯分布和边际分布

延续式(1)和式(2)，因为独立性，不难得到
$$\left[\begin{array}{c}\mathbf{x}\\ \mathbf{w}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mathbf{\mu }\\ 0\end{array}\right],\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& 0\\ 0& {\mathbf{C}}_{\mathbf{w}}\end{array}\right]\right)\text{\hspace{1em}(5)}$$

再考虑线性变换，根据式(4)，可以得到：
$$\mathbf{z}=\left[\begin{array}{cc}\mathbf{H}& {\mathbf{I}}_N\\ {\mathbf{I}}_p& 0\end{array}\right]\left[\begin{array}{c}\mathbf{x}\\ \mathbf{w}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{cc}\mathbf{H}& {\mathbf{I}}_N\\ {\mathbf{I}}_p& 0\end{array}\right]\left[\begin{array}{c}\mathbf{\mu }\\ 0\end{array}\right],\left[\begin{array}{cc}\mathbf{H}& {\mathbf{I}}_N\\ {\mathbf{I}}_p& 0\end{array}\right]\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& 0\\ 0& {\mathbf{C}}_{\mathbf{w}}\end{array}\right]\left[\begin{array}{cc}{\mathbf{H}}^T& {\mathbf{I}}_p\\ {\mathbf{I}}_N& 0\end{array}\right]\right)$$

即
$$\left[\begin{array}{c}\mathbf{y}\\ \mathbf{x}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{cc}\mathbf{H}& {\mathbf{I}}_N\\ {\mathbf{I}}_p& 0\end{array}\right]\left[\begin{array}{c}\mathbf{\mu }\\ 0\end{array}\right],\left[\begin{array}{cc}\mathbf{H}& {\mathbf{I}}_N\\ {\mathbf{I}}_p& 0\end{array}\right]\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& 0\\ 0& {\mathbf{C}}_{\mathbf{w}}\end{array}\right]\left[\begin{array}{cc}{\mathbf{H}}^T& {\mathbf{I}}_p\\ {\mathbf{I}}_N& 0\end{array}\right]\right)\text{\hspace{1em}(6)}$$

式(6)也就是$\mathbf{x},\mathbf{y}$的联合概率分布，化简为
$$\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mathbf{\mu }\\ \mathbf{H}\mathbf{\mu }\end{array}\right],\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& {\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T\\ {\mathbf{H}\mathbf{C}}_{\mathbf{x}}& {\mathbf{H}\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\end{array}\right]\right)\text{\hspace{1em}(7)}$$

基于(7)，构造线性变换
$$\left[\begin{array}{cc}0& 0\\ 0& \mathbf{I}\end{array}\right]\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]$$

可以得到关于$\mathbf{y}$的边际概率：
$$\mathbf{y}\sim \mathcal{N}(\mathbf{H}\mathbf{\mu },{\mathbf{H}\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}})\text{\hspace{1em}(8)}$$

贝叶斯线性模型下的条件高斯分布

为了方便描述，我们令
$$\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mathbb{E}[\mathbf{x}]\\ \mathbb{E}[\mathbf{y}]\end{array}\right],\mathbf{C}\right)$$

那么条件概率$p(\mathbf{y}|\mathbf{x})$可以表示为：
$$\begin{array}{rl}p(\mathbf{y}|\mathbf{x})& =\frac{p(\mathbf{x},\mathbf{y})}{p(\mathbf{x})}\\ & =\frac{\frac{1}{(2\pi {)}^{\frac{N+p}{2}}{\text{det}}^{\frac{1}{2}}(\mathbf{C})}\exp \left[-\frac{1}{2}{\left[\begin{array}{c}\mathbf{x}-\mathbb{E}[\mathbf{x}]\\ \mathbf{y}-\mathbb{E}[\mathbf{y}]\end{array}\right]}^T{\mathbf{C}}^{-1}\left[\begin{array}{c}\mathbf{x}-\mathbb{E}[\mathbf{x}]\\ \mathbf{y}-\mathbb{E}[\mathbf{y}]\end{array}\right]\right]}{\frac{1}{(2\pi {)}^{\frac{p}{2}}{\text{det}}^{\frac{1}{2}}({\mathbf{C}}_x)}\exp \left[-\frac{1}{2}(\mathbf{x}-\mathbb{E}[\mathbf{x}{)}^T{\mathbf{C}}_x^{-1}(\mathbf{x}-\mathbb{E}[\mathbf{x})\right]}\end{array}$$

将协方差矩阵构造为分块矩阵的形式(对应到式(7))：
$$\mathbf{C}=\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& {\mathbf{C}}_{\mathbf{x}\mathbf{y}}\\ {\mathbf{C}}_{\mathbf{y}\mathbf{x}}& {\mathbf{C}}_{\mathbf{y}}\end{array}\right]$$

那么依据分块矩阵的行列式分解公式：
$$\text{det}\left(\left[\begin{array}{cc}{\mathbf{A}}_{11}& {\mathbf{A}}_{12}\\ {\mathbf{A}}_{21}& {\mathbf{A}}_{22}\end{array}\right]\right)=\text{det}({\mathbf{A}}_{11})\text{det}({\mathbf{A}}_{22}-{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12})$$

因此
$$\begin{array}{rl}\text{det}(\mathbf{C})& =\text{det}({\mathbf{C}}_{\mathbf{x}})\text{det}({\mathbf{C}}_{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}})\\ \Rightarrow \frac{\text{det}(\mathbf{C})}{\text{det}({\mathbf{C}}_{\mathbf{x}})}& =\text{det}({\mathbf{C}}_{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}})\end{array}$$

因此，我们可以进一步把$p(\mathbf{y}|\mathbf{x})$表示为：
$$p(\mathbf{y}|\mathbf{x})=\frac{1}{(2\pi {)}^{\frac{N}{2}}{\text{det}}^{\frac{1}{2}}({\mathbf{C}}_{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}})}\exp \left(-\frac{1}{2}Q\right)$$

其中
$$Q={\left[\begin{array}{c}\mathbf{x}-\mathbb{E}[\mathbf{x}]\\ \mathbf{y}-\mathbb{E}[\mathbf{y}]\end{array}\right]}^T{\mathbf{C}}^{-1}\left[\begin{array}{c}\mathbf{x}-\mathbb{E}[\mathbf{x}]\\ \mathbf{y}-\mathbb{E}[\mathbf{y}]\end{array}\right]-(\mathbf{x}-\mathbb{E}[\mathbf{x}]{)}^T{\mathbf{C}}_x^{-1}(\mathbf{x}-\mathbb{E}[\mathbf{x}])$$

对于分块对称矩阵$\mathbf{C}$，其求逆公式为：
$${\left[\begin{array}{cc}{\mathbf{A}}_{11}& {\mathbf{A}}_{12}\\ {\mathbf{A}}_{21}& {\mathbf{A}}_{22}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\left({\mathbf{A}}_{11}-{\mathbf{A}}_{12}{\mathbf{A}}_{22}^{-1}{\mathbf{A}}_{21}\right)}^{-1}& -{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12}{\left({\mathbf{A}}_{22}-{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12}\right)}^{-1}\\ -{\left({\mathbf{A}}_{22}-{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12}\right)}^{-1}{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}& {\left({\mathbf{A}}_{22}-{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12}\right)}^{-1}\end{array}\right]$$

根据矩阵求逆引理
$${\left({\mathbf{A}}_{11}-{\mathbf{A}}_{12}{\mathbf{A}}_{22}^{-1}{\mathbf{A}}_{21}\right)}^{-1}={\mathbf{A}}_{11}^{-1}+{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12}{\left({\mathbf{A}}_{22}-{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}{\mathbf{A}}_{12}\right)}^{-1}{\mathbf{A}}_{21}{\mathbf{A}}_{11}^{-1}$$

我们代入可以得到
$${\mathbf{C}}^{-1}=\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}^{-1}-{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}{\mathbf{B}}^{-1}{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}& -{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}{\mathbf{B}}^{-1}\\ -{\mathbf{B}}^{-1}{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}& {\mathbf{B}}^{-1}\end{array}\right]$$

其中
$$\mathbf{B}={\mathbf{C}}_{\mathbf{y}\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}$$

进一步，我们把${\mathbf{C}}^{-1}$分解为：
$${\mathbf{C}}^{-1}=\left[\begin{array}{cc}\mathbf{I}& -{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}\\ 0& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}^{-1}& 0\\ 0& {\mathbf{B}}^{-1}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& 0\\ -{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}& \mathbf{I}\end{array}\right]$$

令$\tilde{\mathbf{x}}=\mathbf{x}-\mathbb{E}[\mathbf{x}]$，$\tilde{\mathbf{y}}=\mathbf{y}-\mathbb{E}[\mathbf{y}]$，我们有
$$\begin{array}{rl}Q& ={\left[\begin{array}{c}\tilde{\mathbf{x}}\\ \tilde{\mathbf{y}}\end{array}\right]}^T\left[\begin{array}{cc}\mathbf{I}& -{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}\\ 0& \mathbf{I}\end{array}\right]\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}^{-1}& 0\\ 0& {\mathbf{B}}^{-1}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& 0\\ -{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}& \mathbf{I}\end{array}\right]\left[\begin{array}{c}\tilde{\mathbf{x}}\\ \tilde{\mathbf{y}}\end{array}\right]-{\tilde{\mathbf{x}}}^T{\mathbf{C}}_{\mathbf{x}}^{-1}\tilde{\mathbf{x}}\\ & ={\left[\begin{array}{c}\tilde{\mathbf{x}}\\ \tilde{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}\tilde{\mathbf{x}}\end{array}\right]}^T\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}^{-1}& 0\\ 0& {\mathbf{B}}^{-1}\end{array}\right]\left[\begin{array}{c}\tilde{\mathbf{x}}\\ \tilde{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}\tilde{\mathbf{x}}\end{array}\right]-{\tilde{\mathbf{x}}}^T{\mathbf{C}}_{\mathbf{x}}^{-1}\tilde{\mathbf{x}}\\ & ={\left(\tilde{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}\tilde{\mathbf{x}}\right)}^T{\mathbf{B}}^{-1}\left(\tilde{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}\tilde{\mathbf{x}}\right)\end{array}$$

因此，条件概率$p(\mathbf{y}|\mathbf{x})$表示为：
$$p(\mathbf{y}|\mathbf{x})=\frac{1}{(2\pi {)}^{\frac{N}{2}}{\text{det}}^{\frac{1}{2}}({\mathbf{C}}_{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}})}\exp \left(-\frac{1}{2}{\Vert {\left({\mathbf{C}}_{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}\right)}^{-\frac{1}{2}}\left(\mathbf{y}-\left(\mathbb{E}[\mathbf{y}]+{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}(\mathbf{x}-\mathbb{E}[\mathbf{x}])\right)\right)\Vert }_2^2\right)$$

即
$$\mathbf{y}|\mathbf{x}\sim \mathcal{N}\left(\mathbb{E}[\mathbf{y}]+{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}}^{-1}(\mathbf{x}-\mathbb{E}[\mathbf{x}]),{\mathbf{C}}_{\mathbf{y}}-{\mathbf{C}}_{\mathbf{y}\mathbf{x}}{\mathbf{C}}_{\mathbf{x}\mathbf{x}}^{-1}{\mathbf{C}}_{\mathbf{x}\mathbf{y}}\right)\text{\hspace{1em}(9)}$$

类似地，我们可以得到
$$\mathbf{x}|\mathbf{y}\sim \mathcal{N}\left(\mathbb{E}[\mathbf{x}]+{\mathbf{C}}_{\mathbf{x}\mathbf{y}}{\mathbf{C}}_{\mathbf{y}}^{-1}(\mathbf{y}-\mathbb{E}[\mathbf{y}]),{\mathbf{C}}_{\mathbf{x}}-{\mathbf{C}}_{\mathbf{x}\mathbf{y}}{\mathbf{C}}_{\mathbf{y}\mathbf{y}}^{-1}{\mathbf{C}}_{\mathbf{y}\mathbf{x}}\right)\text{\hspace{1em}(10)}$$

结合条件高斯分布的线性模型

贝叶斯线性模型中协方差的对应关系：
$$\mathbf{C}=\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& {\mathbf{C}}_{\mathbf{x}\mathbf{y}}\\ {\mathbf{C}}_{\mathbf{y}\mathbf{x}}& {\mathbf{C}}_{\mathbf{y}}\end{array}\right]=\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& {\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T\\ {\mathbf{H}\mathbf{C}}_{\mathbf{x}}& {\mathbf{H}\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\end{array}\right]\text{\hspace{1em}(11)}$$
（1）似然函数

似然分布对应式(9)，把式(11)代入到式(9)中，我们发现：
$$\mathbf{y}|\mathbf{x}\sim \mathcal{N}\left(\mathbf{y};\mathbf{H}\mathbf{x},{\mathbf{C}}_{\mathbf{w}}\right)\text{\hspace{1em}(12)}$$

我们要说明上述似然函数是由标准的联合分布推导的，很巧的是，该式与贝叶斯线性模型$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{w}$直观意义上的似然形式一致，如果$\mathbf{x}$和$\mathbf{w}$都服从高斯分布（这是大前提，对于一般的$\mathbf{x}$的分布，我现在还不确定是否可以直接这样写，感觉应该是不能，具体问题可能得写出(2)的线性转换模型，再根据矩母函数和相应的逆变换判断），我们可以根据概率公式直接写出联合概率
$$p(\mathbf{y},\mathbf{x})=p(\mathbf{y}|\mathbf{x})p(\mathbf{x})=\mathcal{N}\left(\mathbf{y};\mathbf{H}\mathbf{x},{\mathbf{C}}_{\mathbf{w}}\right)\cdot \mathcal{N}({\mathbf{\mu }}_{\mathbf{x}},{\mathbf{C}}_{\mathbf{x}})\text{\hspace{1em}(13)}$$

（2）后验函数
后验分布对应式(10)，把式(11)代入到式(10)中，我们发现：
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}|\mathbf{y}]& =\mathbb{E}[\mathbf{x}]+{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T{\left(\mathbf{H}{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\right)}^{-1}(\mathbf{y}-\mathbb{E}[\mathbf{y}])\\ & ={\mathbf{\mu }}_{\mathbf{x}}+{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T{\left(\mathbf{H}{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\right)}^{-1}(\mathbf{y}-\mathbf{H}{\mathbf{\mu }}_{\mathbf{x}})\end{array}\text{\hspace{1em}(14)}$$

与之对应的协方差矩阵为
$${\mathbf{C}}_{\mathbf{x}|\mathbf{y}}={\mathbf{C}}_{\mathbf{x}}-{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T{\left(\mathbf{H}{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\right)}^{-1}\mathbf{H}{\mathbf{C}}_{\mathbf{x}}\text{\hspace{1em}(15)}$$

借助求逆定理
$$(E\text{E}E+B\text{B}BC\text{C}CD\text{D}D{)}^{-1}={E\text{E}E}^{-1}-{E\text{E}E}^{-1}B\text{B}B({C\text{C}C}^{-1}+D{E\text{E}E}^{-1}B\text{B}B{)}^{-1}D\text{D}D{E\text{E}E}^{-1}$$

经过一系列化简，式(14)(15)还可以化为：
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}|\mathbf{y}]& ={\mathbf{\mu }}_{\mathbf{x}}+{\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{H}\right)}^{-1}{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}(\mathbf{y}-\mathbf{H}{\mathbf{\mu }}_{\mathbf{x}})\\ {\mathbf{C}}_{\mathbf{x}|\mathbf{y}}& ={\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{H}\right)}^{-1}\end{array}\text{\hspace{1em}(16)}$$

（3）似然函数$\to$联合分布$\to$后验分布

根据Bayes公式：
$$\begin{array}{rl}p(\mathbf{x}|\mathbf{y})& =\frac{p(\mathbf{y}|\mathbf{x})p(\mathbf{x})}{p(\mathbf{y})}\\ & =\frac{p(\mathbf{y}|\mathbf{x})p(\mathbf{x})}{\int p(\mathbf{y}|\mathbf{x})p(\mathbf{x})\text{d}\mathbf{x}}\end{array}$$

因为分母是归一化因子（或者理解为$\mathbf{y}$已经被观测到了，所以认为$p(\mathbf{y})$已知），所以有：
$$\begin{array}{rl}p(\mathbf{x}|\mathbf{y})& \propto p(\mathbf{y}|\mathbf{x})p(\mathbf{x})\\ & =\mathcal{N}\left(\mathbf{y};\mathbf{H}\mathbf{x},{\mathbf{C}}_{\mathbf{w}}\right)\cdot \mathcal{N}({\mathbf{\mu }}_{\mathbf{x}},{\mathbf{C}}_{\mathbf{x}})\end{array}$$

根据之前我写的博客两个复高斯分布的乘积，我们可以得到$\mathcal{N}\left(\mathbf{y};\mathbf{H}\mathbf{x},{\mathbf{C}}_{\mathbf{w}}\right)\cdot \mathcal{N}({\mathbf{\mu }}_{\mathbf{x}},{\mathbf{C}}_{\mathbf{x}})$的均值和方差为
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}|\mathbf{y}]& ={\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}{\mathbf{H}}^{}\right)}^{-1}\left({\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{\mu }}_{\mathbf{x}}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{y}\right)\\ {\mathbf{C}}_{\mathbf{x}|\mathbf{y}}& ={\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}{\mathbf{H}}^{}\right)}^{-1}\end{array}\text{\hspace{1em}(17)}$$

总结

贝叶斯线性模型：
$$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{w}$$

其中$\mathbf{y}\in {\mathbb{R}}^N$，$\mathbf{H}\in {\mathbb{R}}^{N\times p}$已知，$\mathbf{x}\in {\mathbb{R}}^p$且$\mathbf{x}\sim \mathcal{N}({\mathbf{\mu }}_{\mathbf{x}},{\mathbf{C}}_{\mathbf{x}})$，$\mathbf{w}\in {\mathbb{R}}^N$是噪声向量，$\mathbf{w}\sim \mathcal{N}(0,{\mathbf{C}}_{\mathbf{w}})$，$\mathbf{x}$与$\mathbf{w}$相互独立。

（1）$\mathbf{x},\mathbf{y}$的联合分布
$$\left[\begin{array}{c}\mathbf{x}\\ \mathbf{y}\end{array}\right]\sim \mathcal{N}\left(\left[\begin{array}{c}\mathbf{\mu }\\ \mathbf{H}\mathbf{\mu }\end{array}\right],\left[\begin{array}{cc}{\mathbf{C}}_{\mathbf{x}}& {\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T\\ {\mathbf{H}\mathbf{C}}_{\mathbf{x}}& {\mathbf{H}\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\end{array}\right]\right)$$

（2）$\mathbf{y}$的边际分布
$$\mathbf{y}\sim \mathcal{N}(\mathbf{H}\mathbf{\mu },{\mathbf{H}\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}})$$

（3）$\mathbf{y}|\mathbf{x}$似然分布
$$\mathbf{y}|\mathbf{x}\sim \mathcal{N}\left(\mathbf{y};\mathbf{H}\mathbf{x},{\mathbf{C}}_{\mathbf{w}}\right)$$

我们要说明上述似然函数是由标准的联合分布推导的，很巧的是，该式与贝叶斯线性模型$\mathbf{y}=\mathbf{H}\mathbf{x}+\mathbf{w}$直观意义上的似然形式一致（$\mathbf{x}$和$\mathbf{w}$都服从高斯分布是大前提，对于一般的$\mathbf{x}$的分布，我现在还不确定是否可以直接这样写，感觉应该是不能，具体问题可能得写出(2)的线性转换模型，再根据矩母函数和相应的逆变换判断）

（4）$\mathbf{x}|\mathbf{y}$后验分布
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}|\mathbf{y}]& \stackrel{a}{=}{\mathbf{\mu }}_{\mathbf{x}}+{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T{\left(\mathbf{H}{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\right)}^{-1}(\mathbf{y}-\mathbf{H}{\mathbf{\mu }}_{\mathbf{x}})\\ & \stackrel{b}{=}{\mathbf{\mu }}_{\mathbf{x}}+{\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{H}\right)}^{-1}{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}(\mathbf{y}-\mathbf{H}{\mathbf{\mu }}_{\mathbf{x}})\\ & \stackrel{c}{=}{\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}{\mathbf{H}}^{}\right)}^{-1}\left({\mathbf{C}}_{\mathbf{x}}^{-1}{\mathbf{\mu }}_{\mathbf{x}}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{y}\right)\end{array}$$

上述$(a,b,c)$三式是等价的，我们常见的应该是式(a)。这三个式子与LMMSE的形式也是等价的（只是形式上等价，与LMMSE的推导过程无关），因为后验分布是高斯分布，所以LMMSE与MMSE等价。
与之对应的协方差矩阵：
$$\begin{array}{rl}{\mathbf{C}}_{\mathbf{x}|\mathbf{y}}& \stackrel{a}{=}{\mathbf{C}}_{\mathbf{x}}-{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T{\left(\mathbf{H}{\mathbf{C}}_{\mathbf{x}}{\mathbf{H}}^T+{\mathbf{C}}_{\mathbf{w}}\right)}^{-1}\mathbf{H}{\mathbf{C}}_{\mathbf{x}}\\ & \stackrel{b,c}{=}{\left({\mathbf{C}}_{\mathbf{x}}^{-1}+{\mathbf{H}}^T{\mathbf{C}}_{\mathbf{w}}^{-1}\mathbf{H}\right)}^{-1}\end{array}$$

上式协方差的标号与$\mathbb{E}[\mathbf{x}|\mathbf{y}]$的的标号相对应。