贝叶斯学习

2.1 概述

2.2 贝叶斯决策论

概率基础：

• 事件A的概率$0\leq P(A) \leq 1 $
• 条件概率：$P(A|B)=\frac{P(AB)}{P(B)}$, $P(B|A)=\frac{P(AB)}{P(A)}$
• 乘法定律：$P(AB)=P(A|B)P(B)=P(B|A)P(A)$
• 全概率公式：$A_1\cup A_2\cup ...A_n=\Omega 且A_i\cap A_j=\phi ，则P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$
• Bayes公式：
  • $P(A_i|B)=\frac{P(B|A_i)P(A_i)}{{\sum }_{j=1}^{n}P(B|A_j)P(A_j)}$
  • $P(A_i|B)\propto P(B|A_i)P(A_i)$

Bayes决策：

• 基于观察特征、类别的贝叶斯公式
• $P({\omega }_i|x)=\frac{P(x|{\omega }_i)P({\omega }_i)}{P(x)}$ $(posterior=\frac{likehood\ast prior}{evidence})$
• $=\frac{P(x|{\omega }_i)P({\omega }_i)}{{\sum }_{j}P(x|{\omega }_i)P({\omega }_i)}$
• $P({\omega }_i|x)\propto P(x|{\omega }_i)P({\omega }_i)$ $(posterior\propto likelihood\ast prior)$
• 贝叶斯决策：
  • $Decide=\{\begin{array}{cc}{\omega }_1& p({\omega }_1|x)>p({\omega }_2|x)\\ {\omega }_2& otherwise\end{array}$ $\Rightarrow $ $\left{\begin{matrix} \omega_{1} &p(x|\omega_{1})p(\omega_{1})>p(x|\omega_{2})p(\omega_{2}) \ \omega_{2} &otherwise \ \end{matrix}\right. $
  • $\{\begin{array}{cc}{\omega }_1& \frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}>\frac{p({\omega }_2)}{p({\omega }_1)}\\ {\omega }_2& otherwise\end{array}$
• 类别相似性函数：
  • $g_i(x)=p({\omega }_i|x)=\frac{p(x|{\omega }_i)p({\omega }_i)}{{\sum }_{j=1}^{c}p(x|{\omega }_j)p({\omega }_j)}$
  • $g_i(x)=p(x|{\omega }_i)p({\omega }_i)$
  • $g_i(x)=lnp(x|{\omega }_i)+lnp({\omega }_i)$
• 决策函数：
  • $g(x)=g_1(x)-g_2(x)$
  • $g(x)=p({\omega }_1|x)-p({\omega }_2|x)$
  • $g(x)=ln\frac{p(x|{\omega }_1)}{p(x|{\omega }_2)}+ln\frac{p({\omega }_1)}{p({\omega }_2)}$

2.3 贝叶斯分类器

贝叶斯分类器：

• 朴素贝叶斯分类器：假设$p(x|c)$中x特征向量的各维属性独立
  • 采用了“属性独立性假设”
  • $p(c|x)=\frac{p(c)p(x|c)}{p(x)}\propto p(c)p(x|c)=p(c){\prod }_{i=1}^{d}p(x_i|c)$
  • 关键问题：由训练样本学习类别条件概率和类别先验概率$p(x_i|c)和p(c)$
  • k个类别，d个属性，共1+k*d个概率分布要统计
  • 类别先验概率的估计：$p(c)=\frac{|D_c|}{|D|}$
  • 类别概率密度估计：
    • $x_i$离散情况：$p(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$
    • $x_i$连续情况：$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$ （由某一概率分布估计类别概率）
  • 学习过程：
    • 类别先验估计
    • 类别条件概率估计
  • 决策过程：
    • 类别先验估计
    • 类别条件概率估计
    • 贝叶斯决策$h(x)=\underset{cϵy}{\mathrm{argmax}}P(c){\prod }_{i=1}^{d}P(x_i|c)$
• 半朴素贝叶斯分类器：假设$p(x|c)$中x各维属性存在依赖
• 正态分布的贝叶斯分类器：假设$p(x|c(\theta ))$服从正态分布

2.4 贝叶斯学习与参数估计问题

贝叶斯学习

​ 通过观测数据likelihood修正模型先验，得到后验概率分布：
$$p(\theta |D,\alpha )\propto p(D|\theta )p(\theta |\alpha )$$
​ 其中，$\alpha$是超参数，不是估计的参数

极大似然估计

• 最大化观测数据的概率
  • $p(\theta |D,\alpha )\propto p(D|\theta )p(\theta |\alpha )$
  • 最大化$p(D|\theta )$
• 似然函数likelihood：
  • $p(D|\theta )=p(x_1,...,x_n|\theta )={\prod }_{i=1}^{n}p(x_i|\theta )$
• Maximum Likelihood
  • $\hat{\theta }=arg\underset{\theta }{\max }p(D|\theta )$

转化为求log-likelihood极大的问题：

$\hat{\theta }=arg\underset{\theta }{\max }\sum _{i=1}^{n}logp(x_i|\theta )$

求解过程

${\sum }_{i=1}^n{\nabla }_{\theta }logp(x_i|\theta )=0$

最大后验估计

问题描述

• 求使后验概率最大的模型或参数($\theta$)
  • $p(\theta |D,\alpha )\propto p(D|\theta )p(\theta |\alpha )$
  • 最大化$p(\theta |D,\alpha )$
• 贝叶斯公式中
  • $p(\theta |D,\alpha )=\frac{P(D|\theta )P(\theta |\alpha )}{P(D|\alpha )}$
  • ${\hat{\theta }}_{MAP}:\frac{\partial }{\partial \theta }p(\theta |D,\alpha )=0or\frac{\partial }{\partial \theta }p(D|\theta )p(\theta |\alpha )=0$