关于多元正态分布的条件概率密度

  • 多元正态分布
  • 多元正态分布的条件密度

多元正态分布

多元正态分布的密度函数如下 :

fx(x1,...xn)=1(2π)k|Σ|1/2exp(12(xμ)TΣ1(xμ)) (1)

其对应的矩母函数(也有称动差函数)为 exp(μTt+12tTΣt) 。事实上,如果随机向量 [X1,...Xn] 满足上面的动差函数,那么我们就称随机向量 [X1,...Xn] 服从多元高斯分布。具体地证明可以看 这里。

多元正态分布的条件密度

令随机向量 [X1,...Xn] 服从多元高斯分布。我们可以推导 Xn 在给定 X1,...Xn1 的情况下的条件密度分布:

f(xn|x1,...,xn1)=f(x1,...,xn1,xn)f(x1,...,xn1) (2),

其中
f(x1,...,xn)=(2π)n/2(|Σ|1/2)exp[12ni,j=1yiqijyj] (3)

其中 Q=Σ1=[qij],yi=xiμi 。同样地,
f(x1,...,xn1)=f(x1,...,xn1,xn)dxn=B(y1,...,yn1) (4).

现在我们将公式(3)中的求和项进行分解,有:
ni,j=1yiqijyj=n1i,j=1yiqijyj+ynn1j=1qnjyj+ynn1i=1qinyj+qnny2n (5)

因此,最终地条件分布具有如下的形式:
A(y1,...,yn1)B(y1,...,yn1)exp[(Cy2n+D(y1,...,yn1)yn)] (6)

其中 C=(1/2)qnn ,因为 Q=Σ1 是对称矩阵,所以 D=n1j=1qnjyj=n1i=1qinyi .(6)式又可以进一步表示称如下的式子:
[ABexp(DD24C)]exp[(yn+D2C)2]1C (7)

从公式(7)很容看出 xn 的条件密度函数是服从正态分布的。
所以条件分布的方差为: 2Var(Xn|X1,...,Xn1)=1/C ,进一步有: Var(Xn|X1,...,Xn1)=12C=1qnn
均值为:
E(Xn|X1,...,Xn1)=μnD2C=μn1qnnn1j=1qnj(Xjμj)

这就说明了再抽样多元正态分布时,如果已知了其它维度的随机变量值, 剩下的那个维度的随机变量也是服从正态分布

你可能感兴趣的:(机器学习)