机器学习：贝叶斯总结_2：概率分布

伯努利分布

• Bern(x|μ)=μx(1−μ)1−x
• μML=mN : 正面朝上的概率，是数据集中正面朝上的观测所占的比例

Beta分布

• 共轭性：先验和后验具有相同的形式；先验概率正比于似然函数，则后验概率和先验概率具有相似的形式。
• ∫10Beta(μ|a,b)dμ=1

多项式变量

• K个互斥状态的分布

• xk=1 的概率，那么 x 的分布是
  p(x|μ)=∏Kk=1μxkk

• 最大似然解： μMLk=mkN
  N次观测中， xk=1 的解；

• 联合分布：数据 m1,.....,mK 在参数 μ 和观测总数N的条件下的联合分布

Mult(m1,m2,......,mk|μ,N)=(Nm1m2...mK∏Kk=1μmkk)

狄利克雷分布

• Dir(μ|α)=Γ(α0)Γ(α1)...Γ(αK)∏Kk=1μαk−1k

其中： Γ(x)是γ函数

• 狄利克雷分布是多项式分布的共轭

高斯分布

条件高斯分布

高斯分布的最大似然解

顺序估计

• 最大似然的顺序估计：每次处理一个数据点，然后丢弃数据点
• 一次处理所有的数据点不可行的情况

高斯分布的贝叶斯估计

• 似然： μ 的二次型
• 选择先验为高斯分布，则先验和似然共轭
• 后验：

μN=σ2Nσ2+σ2μ0+Nσ2Nσ2+σ2μML

1σ2N=1σ20+Nσ2

其中： μML是μ的最大似然解 ； μML=1N∑Nn=1xn

结论：

• N=0,则 μN 是先验均值
• N−>无穷 ， μN 是最大似然解

t 分布

周期变量

混合高斯模型

共轭先验

无信息先验

非参数化的方法

k领域算法

最大似然和贝叶斯区别

• 计算复杂度：最大似然好；
• 可理解性：最大似然好；
• 对初始先验知识的信任：先验信息可靠，则贝叶斯可以利用更多的信息