贝塔、伽马分布

最近开始自学PRML，为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布，贝叶斯学派则是使用后验概率来确定，为了方便计算后验概率，引入共轭先验分布来方便计算，这是后话了。
那么一些常见的共轭后验分布有哪些呢？这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑，后面再补充)

---

简介

贝塔分布

下面就是 X∼Beta(α,β) 的概率密度函数

f(x)=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1

• E(X)=αα+β
• Var(X)=αβ(α+β)2(α+β+1)

这个式子并不是从天而降，这是有由来的。
最先想构造的概率分布函数是，

f(x)=wxα−1(1−x)β−1

其中， w 是一个常数，为了满足概率分布函数的两个条件

• x∈[0,1]
• ∫10f(x)dx=1

因此

f(x)=xα−1(1−x)β−1∫10xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1

贝塔函数

B(α,β)=∫10xα−1(1−x)β−1dx

---

伽马函数

其中 Γ(x) 就是伽马函数，此处传送门详解伽马函数历史由来

Γ(θ)=∫∞0xθ−1e−xdx

其中伽马函数有一些性质需要注意

• Γ(x+1)=xΓ(x)

• 对于整数 n 来说
  

  Γ(n)=(n−1)!

• 对于 x∈(0,1) ,
  

  Γ(1−x)Γ(x)=πsin(πx)

• Γ(12)=π√

---

伽马分布

X∼Γ(k,θ) 的概率密度函数如下

f(x)=xk−1e−x/θθkΓ(k),(k>0,θ>0)

• E(x)=kθ

• Var(x)=kθ2

---

倒伽马分布

X∼IGa(α,β)
由 Y=g(X)=1X及X∼Γ(k,θ) 推出 Y 的分布，即为倒伽马分布。

fY(y)=fX(g−1(y)|ddyg−1(y)|)=1θkΓ(k)(1y)k+1exp(−1yθ)=1θkΓ(k)y−k−1exp(−1yθ)

用 α 替换 k , β 替换 θ−1 得：

fX(x)=βαΓ(α)x−α−1exp(−βx)

上式即为倒伽马分布的概率密度函数 X∼IGa(α,β) 。

• E(X)=βα−1,α>1

• D(X)=β2(α−1)2(α−2),α>2

参考资料

• https://en.wikipedia.org/wiki/Beta_distribution

• https://en.wikipedia.org/wiki/Beta_function

• https://en.wikipedia.org/wiki/Inverse-gamma_distribution

本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。