模式识别与机器学习--- 3.3.1条件高斯分布

 

多元高斯分布的一个重要性质是如果两个变量集是联合高斯分布，那么其中一个基于另一个变量集上的条件分布仍然是高斯分布。边缘高斯分布也有类似结论。

考虑第一种情形的条件高斯分布。假设 X 是一个满足高斯分布 的 D 维向量，我们把 X 分作两个子集 X_a 和 X_b 。不失一般性，我们记 X_a 为 X 的前 M 个元素， X_b 为剩下 D-M 个元素，即

我们还定义期望向量 的分块

及协方差矩阵 的分块

注意到协方差的对称性 隐含着 和 也是对称的，以及 。

 

在许多情形下，使用协方差矩阵的逆会更加方便

它被称为精度矩阵（precision matrix，图模型中的称谓）。事实上，我们将看到高斯分布的一些性质大部分都会很自然地用协方差的形式表示，然而当精度矩阵（precision matrix，图模型中的称谓）表示时另外一些性质的形式将会变得更加简单。因此，我们也引入了精度矩阵（precision matrix，图模型中的称谓）的分块形式

与向量X的分块（2.65）一致。因为对称矩阵的逆仍然是对称的，所以和都是对称矩阵，以及

。在此需要强调的是， 不是简单的给 取逆。事实上，我们将会考察分块矩阵的逆和其分块的逆之间的关系。
          首先，我们来寻求条件概率 的表示。根据概率的乘法性质，得到该条件概率可以简单地通过用 X_b 的观测值来修正联合概率 并归一化其结果表示从而得到合理的 X_a 上的合理概率分布。我们不是具体地实行归一化，而是采用高效地方法，即考虑（ 2.44 ）给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分（ 2.65 ），（ 2.66 ）和（ 2.69 ）得到

 

可见这是一个关于 Xa 的函数，而且是二次形式，因此，对应的条件分布 将是高斯分布。因为，这种分布（高斯分布）完全由期望和方差表征，所以，我们的目标是检查（ 2.70 ）的期望和方差的等价表示。
          它是一个与高斯分布相联系的极普通的例子，有时称为“完全平方”，其中给了我们高斯分布中指数项中的二次形式，以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布 的指数可以记为

这里的“ const ”表示独立于 X 的项，而且我们利用了 的对称性。因此，如果将普通的二项形式并且将它表示为（ 2.71 ）右边的形式，那么我们可以立即将 X 的二次项的系数等同于协方差矩阵的逆 而且 X 的线性项系数等同于 ，由此我们可以获得 。

现在将该步骤应用于条件高斯分布 它的指数项的二次形式由（ 2.70 ）给出。我们分别用
和 表示该分布的期望和方差。考虑该函数依赖于 X_a ，对于 X_b 则视为常数。如果我们将 X_a 所有二次项提出，则得到

据此可以立即总结出 的协方差矩阵（精度矩阵的逆）为

现在考虑（2.70）中X_a所有的线性项

这里我们利用了。从我们讨论普通形式（2.71）中可知，表达式中X_a的系数一定等于，因此，

这里我们利用了（2.73）。

          （ 2.73 ）和（ 2.75 ）的结果是由初始联合分布 的精度矩阵中的分块项表示的。我们同样可以用协方差矩阵的对应分块项来表示这些结果。为了实现这个，我们利用了以下分块矩阵的逆的恒等式

这里我们定义

的大小称作（ 2.76 ）左边矩阵相对于子矩阵 D 的舒尔补（ Schur complement ）。采用定义

并利用（2.76），可得到

通过这些我们可以获得条件分布 的期望和方差的等式如下

比较（ 2.73 ）和（ 2.82 ），可以当采用精度矩阵的分块项来表示条件概率 相对于采用协方差矩阵的分块项更加简单。注意，条件概率 的期望（由（ 2.81 给出）），是 X_b 的线性函数，而协方差（由（ 2.82 给出））独立于 X_a 。这代表了一种线性高斯模型的例子。

 

2.3.2边缘高斯分布

          我们已经见到如果联合分布 是高斯分布，那么条件高斯分布 也是高斯分布。现在我们回到如下的边缘分布的讨论，

我们将看到，它同样是高斯分布。同样，我们的策略关注与联合分布的二次形式指数项从而确定边缘分布 的期望和方差。

         在（2.70）中，联合分布的二次形式可以用精度矩阵的分块形式表示。因为我们的目标是对X_b积分，这可以很容易地通过首先考虑包含X_b的项然后配方来简化积分达到。提出哪些仅包含X_b的项，得到

 

这里我们定义了

 

可见依赖于X_b的项能够转化到和（2.84）中右端项的第一项对应的高斯分布的标准二次形式，加上一个并不依赖于X_b（但是依赖于X_a）的项。因此，使用二次形式的指数形式，我们可以发现（2.83）在X_b上的积分是如下形式

该积分是在非归一化的高斯分布上的积分，所以结果将会和其系数有关。通过（ 2.43 ）给出的归一化高斯形式我们可以知道系数和均值独立，并且只依赖于协方差矩阵的行列式。因此，对 X_b 配方，我们可以积出 X_b 而分布（ 2.84 ）左边的依赖于 X_a 剩余项是（ 2.84 ）右边的最后一项其中 m 由（ 2.85 ）给出。结合该项以及（ 2.70 ）的依赖于 X_a 的剩余项，得到

这里“ const ”表示数值独立于 X_a 。再次，通过同（ 2.71 ）比较，可以发现边缘分布 的协方差矩阵是

类似地，期望是

 

这里利用了（2.88）。在（2.88）中协方差是由（2.69）给出的精度矩阵的分块项表示。就像我们之前所做的那样，可以用（2.67）给出的协方差矩阵的对应分块项来重新表示它们。这些分块矩阵的关系是

 

利用（2.76），有

因此我们获得了满意的直观结果，即边缘分布的期望和方差为

 

可以看到对于边缘分布，使用协方差矩阵的分块矩阵项表示均值和方差时最简单的，然而，在条件分布中使用精度矩阵表示均值和协方差更简便。