贝塔、伽马分布

最近开始自学PRML,为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布,贝叶斯学派则是使用后验概率来确定,为了方便计算后验概率,引入共轭先验分布来方便计算,这是后话了。
那么一些常见的共轭后验分布有哪些呢?这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑,后面再补充)


简介

贝塔分布

下面就是 XBeta(α,β) 的概率密度函数

f(x)=Γ(α+β)Γ(α)Γ(β)xα1(1x)β1

  • E(X)=αα+β
  • Var(X)=αβ(α+β)2(α+β+1)


这个式子并不是从天而降,这是有由来的。
最先想构造的概率分布函数是,

f(x)=wxα1(1x)β1

其中, w 是一个常数,为了满足概率分布函数的两个条件

  • x[0,1]
  • 10f(x)dx=1

因此

f(x)=xα1(1x)β110xα1(1x)β1dx=Γ(α+β)Γ(α)Γ(β)xα1(1x)β1=1B(α,β)xα1(1x)β1

贝塔函数

B(α,β)=10xα1(1x)β1dx


伽马函数

其中 Γ(x) 就是伽马函数,此处传送门详解伽马函数历史由来

Γ(θ)=0xθ1exdx

其中伽马函数有一些性质需要注意

  • Γ(x+1)=xΓ(x)
  • 对于整数 n 来说

    Γ(n)=(n1)!

  • 对于 x(0,1) ,

    Γ(1x)Γ(x)=πsin(πx)

  • Γ(12)=π

伽马分布

XΓ(k,θ) 的概率密度函数如下

f(x)=xk1ex/θθkΓ(k),(k>0,θ>0)

  • E(x)=kθ

  • Var(x)=kθ2



倒伽马分布

XIGa(α,β)
Y=g(X)=1XXΓ(k,θ) 推出 Y 的分布,即为倒伽马分布。

fY(y)=fX(g1(y)|ddyg1(y)|)=1θkΓ(k)(1y)k+1exp(1yθ)=1θkΓ(k)yk1exp(1yθ)

α 替换 k , β 替换 θ1 得:
fX(x)=βαΓ(α)xα1exp(βx)

上式即为倒伽马分布的概率密度函数 XIGa(α,β)

  • E(X)=βα1,α>1

  • D(X)=β2(α1)2(α2),α>2

贝塔、伽马分布_第1张图片
贝塔、伽马分布_第2张图片

参考资料

  • https://en.wikipedia.org/wiki/Beta_distribution

  • https://en.wikipedia.org/wiki/Beta_function

  • https://en.wikipedia.org/wiki/Inverse-gamma_distribution

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。

你可能感兴趣的:(PRML学习笔记,数学理论,伽马分布,贝塔分布,逆伽马分布)