机器学习：贝叶斯_1：贝叶斯估计

β 密度函数

• β 密度函数可以用于0~~1直接的连续随机变量

p(r)=Γ(α+β)Γ(α)Γ(β)γα−1(1−γ)β−1

• Γ(Z)是 γ 函数

后验概率

• r视为随机变量R；

p(r|yN)=P(yN|r)p(r)P(yN)

• P(yN|r) : 似然值；在一个特定的 r下，观测到 yN 的可能性
• p(r) : 先验概率
• P(yN) : 边缘分布

共轭先验

• 如果似然和先验是一对共轭，那么后验和先验具有相同的形式

先验	似然
高斯	高斯
beta	二项
gamma	高斯
狄利克雷	多维正态

p(r|yN)−>P(yN|r)p(r) ； 二项分布和 β 分布代替右式

贝叶斯推论

• 先验和后验的共轭是罕见的

二值响应

• t={0,1} ； w ：参数 ； X : 观测对象

p(w|t,X)=p(t|X,w)p(w)p(t|X)

其中： p(t|X)=∫p(t|X,w)p(w)dw

• 先验

  1. p(w)：高斯分布
  2. p(w)=N(0,σ2I)
  3. 记： p(w|σ2)

• 似然

  1. 设独立同分布， p(t|X,w)=∏Nn=1p(tn|Xn,w)
  2. 设为sigmod函数

• 边际似然

  1. Z−1=p(t|X,σ2)=∫p(t|X,w)p(w|σ2)dw

• 后验概率： p(w|X,t,σ2)=Z−1g(w;X,t,σ2)

三种解决办法

• 找到与最高后验概率一致的 w 的单值. Z−1不是w的函数
• 近似 p(w|X,t,σ2)
• 后验概率采用

点估计：最大后验

1. logg(w;X,t)=logp(t|X,w)+logp(w|σ2)
2. 优化算法求解w

拉普拉斯近似

• 高斯近似感兴趣的密度

  1. logp(w;X,t,σ2)≈泰勒展开，忽略三阶
  2. logp(w;X,t,σ2)≈logg(w^;X,t,σ2)−v2(w−w^)2
  3. p(w|X,t,σ2)≈N(μ,∑)

抽样技术