威沙特分布和逆威沙特分布(Wishart 分布及逆 Wishart 分布)

Wishart 分布

Wishart 分布是用来描述多元正态分布样本的协方差矩阵的。Wishart 分布的随机变量是一个随机矩阵。

定义

假设 X X X是一个 n ∗ p n*p np的矩阵,其中,每一行 X i X_{i} Xi服从多元正态分布:
X i ∽ N p ( 0 , Σ ) X_{i} \backsim N_{p}(0,\Sigma) XiNp(0,Σ)
也就是每一个样本 X i X_{i} Xi服从 p p p维的正太分布。

A = ∑ i X i T X i A = \sum_{i}X_{i}^TX_{i} A=iXiTXi
则随机矩阵 A A A p ∗ p 维 p*p维 pp)就是wishart分布的随机变量。
A A A也常被称作是散度矩阵:
A ∽ W p ( n , Σ ) A \backsim W_{p}(n, \Sigma) AWp(n,Σ)
n n n是自由度。
威沙特分布和逆威沙特分布(Wishart 分布及逆 Wishart 分布)_第1张图片

逆Wishart分布

如果一个正定矩阵 B B B的逆矩阵 B − 1 ∽ W p ( n , Σ ) B^{-1} \backsim W_{p}(n, \Sigma) B1Wp(n,Σ),那么称 B ∽ W p − 1 ( n , Σ ) B \backsim W_{p}^{-1}(n, \Sigma) BWp1(n,Σ)

Inverse-Wishart分布常作为Bayes中多元正态分布的协方差阵的共轭先验分布

假设 X ∈ R n ∗ p , X i ∽ N p ( 0 , Σ ) , Σ ∽ W p − 1 ( m , Ω ) X \in R^{n*p}, X_{i} \backsim N_{p}(0, \Sigma), \Sigma \backsim W_{p}^{-1}(m, \Omega) XRnpXiNp(0,Σ)ΣWp1(m,Ω)
那么 Σ \Sigma Σ后验分布:
Σ ∣ d a t a ∽ W p − 1 ( m + n , A + Ω ) , A = ∑ i X i T X i = n S \Sigma|data \backsim W_{p}^{-1}(m+n, A+\Omega),A = \sum_{i}X_{i}^{T}X_{i}=nS ΣdataWp1(m+n,A+Ω)A=iXiTXi=nS

你可能感兴趣的:(变分贝叶斯系列,机器学习)