高斯分布的乘积与卷积

 高斯分布是一个很重要的连续分布形式，频繁出现各种应用场景里也可以导出很多分布，如在典型的线性回归中对误差 的建模就是用的标准正态分布，统计学的学生分布就是从正态分布中导出。随着贝叶斯统计学的广泛应用，相乘的高斯分布（高斯先验）等形式也出现在公式中，例如高斯线性系统，本文就这些形式进行说明。

1. 一元高斯分布的乘积

假设，均是关于变量的高斯分布，现计算高斯分布的乘积的分布形式。

        

得两个高斯分布相乘仍为缩放的高斯分布，通过配方得到缩放的高斯分布参数为：

                                                

上式可写为如下形式，从而推广至  个一维高斯分布相乘：

                                                

2. 多元高斯分布的乘积

我们熟知的多元高斯分布形式如下：

                                        

多元高斯分布的另一种形式自然分布形式用到的参数为：

                ​​​​​​​                        ​​​​​​​        

带入，得到另一种分布形式表示如下：

                                

将指数外的系数放入指数部分，得到：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​            

其中为：

        ​​​​​​​        ​​​​​​​        

在多个多元高斯相乘时，得到的结果如下：

        ​​​​​​​        ​​​​​​​        ​    

通过对进行变换可以发现，仍为多元高斯分布。

上述两个式子均是通过配方法来寻找新分布的参数，而其中的normalization项则并不那么重要。

3. 一元高斯分布的卷积

这一部分的内容来自于MLAPP第四章p132~p134。假设多元高斯分布的参数​​​​​​​来自服从Normal-inverse-wishart分布：

        ​​​​​​​        ​​​​​​​        

在观测到一批数据集后，计算似然为：

        ​​​​​​​        ​​​​​​​        ​​​     

在计算参数后验的分布时，用到了多元高斯分布相乘的方法。现假设：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

利用相同的方法，可以得到

                                        

4. 高斯线性系统

这一部分的内容来自于MLAPP第四章。这部分的内容可能与前面所述的不一致（多个均为同一变量分布的分布）。高斯线性系统如下：

        ​​​​​​​                ​​​​​​​        ​​​​​​​        

由产生，在观测到后可以对进行更新：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

下面对 进行计算。已知p，的指数部分为：

        ​​​​​​​        

通过配方可以得到：

                        ​​​​​​​                

下面对进行求解，我们知道

        ​​​​​​​        ​​​​​​​        ​​​​​​​                

                                        

通过上述的式子，如果对上式求积分或者配方会有些复杂。实际上，通过上式可以得到逆协方差矩阵：

                                

利用联合高斯分布的推断结论，可以得到：

        ​​​​​​​        

可以推知：

                                

再对（这里表示的协方差矩阵）进行计算：

        ​​​​​​​        ​​​​​​​                        

        ​​​​​​​        

  ​​​​​​​因此:

                                                

的分布参数如下：

                                ​​​​​​​        ​​​​​​​