《随机过程》学习笔记--高斯过程()

高斯过程之条件分布(Conditional Distribution)

设 X=(X1,X2)∈Rm×n∼N(μ,Σ) ，其中 X1∈Rm,X2∈Rn,μ=(μ1,μ2),μ1=E(X1),μ2=E(X2),Σ∈R(m+n)×(m+n) .
这里,

Σ=(Σ11Σ21Σ12Σ22),cov(X1)=Σ11,cov(X2)=Σ22

由此可知， {X1∼N(μ1,Σ11)X2∼N(μ2,Σ22) ，即联合高斯 ⟹ 边缘高斯。那么 X2 在 X1 条件下的条件分布为

fX2|X1(x2|x1)=fX1,X2(x1,x2)fX1(x1)

注意，这里的 X1,X2,x1,x2 都是列向量（随机向量）。为了计算上面这个条件分布，必须知道边缘分布 fX1(x1) 和联合分布 fX2|X1(x2|x1) ，这两个分布的形式如下：

fX1(x1)=C1exp(−12(x1−μ1)TΣ−1(x1−μ1))fX2|X1(x2|x1)=C1,2exp(−12((x1−μ1)T,(x2−μ2)T)(Σ11Σ21Σ12Σ22)−1(x1−μ1x2−μ2))

要计算联合分布 fX2|X1(x2|x1) 是一件十分困难的事情，由协方差矩阵为对称矩阵的性质，我们同样可以将其对角化。但是这个对角化不能随便做，因为我们要尽量完整地保留 Σ11 ，因为这里处理的是在 X1 已知的条件下计算条件概率。也就是说，对角化的目标就是对

Σ=(Σ11Σ21Σ12Σ22)

将 Σ11 完整保留，同时将副对角线化为 0 。这里我们采用一种 打洞技巧，即：

(Σ11Σ21Σ12Σ22)→(Σ1100something)

为达到这个目的，我们先对 Σ 进行 行变换，

(I−Σ21Σ−1110I)(Σ11Σ21Σ12Σ22)=(Σ110Σ12Σ22−Σ21Σ−111Σ12)

再对上面的结果进行 列变换

(Σ110Σ12Σ22−Σ21Σ−111Σ12)(I0−Σ−111Σ12I)=(Σ1100Σ22−Σ21Σ−111Σ12)

于是，我们可以得到

(I0−Σ−111Σ12I)−1(Σ11Σ21Σ12Σ22)−1(I−Σ21Σ−1110I)−1=(Σ−11100(Σ22−Σ21Σ−111Σ12)−1)

也就是说

(Σ11Σ21Σ12Σ22)−1=(I0−Σ−111Σ12I)(Σ−11100(Σ22−Σ21Σ−111Σ12)−1)(I−Σ21Σ−1110I)

这时我们就计算出了

fX2|X1(x2|x1)=C1,2exp(−12((x1−μ1)T,(x2−μ2)T)(Σ11Σ21Σ12Σ22)−1(x1−μ1x2−μ2))

中的协方差矩阵的逆。此时

−12((x1−μ1)T,(x2−μ2)T)(Σ11Σ21Σ12Σ22)−1(x1−μ1x2−μ2)=−12((x1−μ1)T,(x2−μ2)T)(I0−Σ−111Σ12I)(Σ−11100(Σ22−Σ21Σ−111Σ12)−1)(I−Σ21Σ−1110I)(x1−μ1x2−μ2)=−12(x1−μ1)TΣ−111(x1−μ1)−12(x2−μ2−Σ21Σ−111(x1−μ1))T(Σ22−Σ21Σ−111Σ12)−1(x2−μ2−Σ21Σ−111(x1−μ1))