Gamma分布、Beta分布、Dirichlet分布

Γ 函数

Γ 函数是阶乘在实数上的推广，定义为：

Γ(x)=∫+∞0tx−1e−t dt

Γ 函数的性质：

Γ(x+1)=xΓ(x)

Γ(n)=(n−1)!

Gamma分布

根据 Γ 函数的定义有：

∫+∞0xα−1e−xΓ(α) dx=1      (∗)

取积分中的函数作为概率密度，就得到了一个形式最简单的Gamma分布，其概率密度函数为：

Gamma(x|α)=xα−1e−xΓ(α)

若将公式 (∗) 中的 x 替换为 βt ，则有下式成立：

∫+∞0(βt)α−1e−βtΓ(α) d(βt)=1

等价于：

∫+∞0βαtα−1e−βtΓ(α) dt=1      (∗∗)

于是就得到了Gamma分布更一般的形式，概率密度函数为：

Gamma(t|α,β)=βαtα−1e−βtΓ(α)

其中， α 为Gamma分布的 shape parameter，主要决定了曲线的形状；而 β 为Gamma分布的 rate parameter 或者 inverse scale parameter，主要决定了曲线有多陡。 Gamma分布的归一化常数恰为 Γ 函数在点 α 处的值 Γ(α) 。

Gamma分布的期望、方差：

E(t)=αβ

D(t)=αβ2

Beta函数

Beta函数的定义：

B(α,β)=∫10xα−1(1−x)β−1 dx

其中 α,β>0

Beta函数性质：

1.对称性

B(α,β)=B(β,α)

2.与 Γ 函数的关系

B(α,β)=Γ(α)Γ(β)Γ(α+β)

其中 α,β>0

Beta分布

根据Beta函数的定义有：

∫10pα−1(1−p)β−1B(α,β) dp=1

上式中取积分中的函数作为概率密度，就得到了Beta分布：

B(p|α,β)=pα−1(1−p)β−1B(α,β)

可以发现 Beta分布的归一化常数恰为Beta函数在 (α,β) 处的值。

Beta 分布的期望、方差：

E(p)=αα+β

D[p]=ab(a+b)2(a+b+1)

Dirichlet分布

Dirichlet（狄利克雷）可以看做是将Beta分布推广到多变量的情形。概率密度函数定义如下

Dir(p⃗ |α⃗ )=1B(α⃗ )∏k=1Kpαk−1k     (∗)

其中， α⃗ =(α1,α2,…,αK) 为Dirichlet分布的参数。满足：

α1,α2,…,αK>0

B(α⃗ ) 表示 Dirichlet分布的归一化常数：

B(α⃗ )=∫∏k=1Kpαk−1k dp⃗ 

类似于Beta函数有以下等式成立：

B(α⃗ )=Γ(∑Kk=1αk)∏Kk=1Γ(αk)

归一化常数 B(α⃗ ) 有时也记为 Δ(α⃗ )

Dirichlet概率密度函数定义在 K−1 维单纯形上，随机变量 p⃗  满足以下条件：

p1,p2,…,pK>0

p1+p2+…+pK=1

Dirichlet分布的期望为：

E(p⃗ )=(α1∑Kk=1αk,α2∑Kk=1αk,…,αK∑Kk=1αk)