【机器学习】贝叶斯模型（Bayesian Model）

最小错误率贝叶斯

先验概率

• 反映了我们的经验知识，是一种简单的判决准则

• 只依靠先验概率并不靠谱，如：学校男女比例4:1，走过来的人是男生可能性大，但不能直接分类为男生

• 需要更多的特征信息进一步进行分类

似然概率

• 特征的类条件概率

在已知特征属于某个类的前提条件下的概率密度分布

二类判决问题

• 假设已知：

1. 两类的先验概率$p(w_1)$和$p(w_2)$

2. 特征x的类条件概率密度:$p(x|w_1)$和$p(x|w_2)$

3. 当前待分类样本的观测值$x$

• 判断观测值$x$属于$w_1$和$w_2$的概率情况：

后验概率：通过特征判断
$$\begin{array}{c}p(w_1|\mathbf{x})>p(w_2|\mathbf{x})\to w=w_1\\ p(w_2|\mathbf{x})>p(w_1|\mathbf{x})\to w=w_2\end{array}$$

最小错误率贝叶斯公式

$$\begin{array}{c}P(w_i|\mathbf{x})=\frac{P(\mathbf{x}|w_i)P(w_i)}{P(\mathbf{x})}=\frac{P(\mathbf{x}|w_i)P(w_i)}{{\sum }_{i}P(\mathbf{x}|w_i)P(w_i)}\\ Posterior=\frac{Likelihood\times Prior}{Evidence}\end{array}$$

• Posterior：$P(w_i|\mathbf{x})$观测到的具有$\mathbf{x}$属性的事例或样本，该样本属于$w_i$的概率。

• Likelihood：$P(\mathbf{x}|w_i)$似然值，即第$w_i$类样本，$\mathbf{x}$属性或特征的分布情况。

• Prior：$P(w_i)$先验概率。

• Evidence：归一化因子，保证类别后验概率之和为1。

最大后验准则
$$w^{\ast }=argmaxP(w_i|\mathbf{x})$$
正比于贝叶斯公式的分子部分。

误差

$P(w_1|x)+P(w_2|x)=1$

• $P(error|x)=\{\begin{array}{l}P(w_1|x),w=w_2\\ P(w_2|x),w=w_1\end{array}$

• $P(error)={\int }_{-\infty }^{\infty }P(error,x)dx={\int }_{-\infty }^{\infty }P(error|x)p(x)dx$

期望产生分类错误最小：

$minP(error)={\int }_{-\infty }^{\infty }min\{P(error|x)\}p(x)dx$

可以通过后验概率规则实现，即谁的后验概率大就分给谁：
$$\begin{array}{c}p(w_1|\mathbf{x})>p(w_2|\mathbf{x})\to w=w_1\\ p(w_2|\mathbf{x})>p(w_1|\mathbf{x})\to w=w_2\end{array}$$

例题

对癌症进行诊断，对一批人进行普查，规律如下：

1. 每1000个人中有5个癌症病人

2. 每100个正常人中有一个是试验呈阳性反应

3. 每100个癌症病人中有95个人试验呈阳性反应

问：若甲呈阳性反应，甲是否正常？

分析：

1. 第1告诉我们先验概率

2. 2、3告诉我们似然概率：

设：$w_1\to$正常；$w_2\to$癌症

则$P(w_1)=0.995;P(w_2)=0.005$（先验概率）

$P(\mathbf{x}|w_1)=0.01;P(\mathbf{x}|w_2)=0.95$(似然概率)

计算：
$$\begin{array}{c}P(\mathbf{x}|w_1)\cdot P(w_1)=0.00995\\ P(\mathbf{x}|w_2)\cdot P(w_2)=0.00475\\ P(w_2|\mathbf{x})=\frac{P(\mathbf{x}|w_2)\cdot P(w_2)}{P(\mathbf{x}|w_1)\cdot P(w_1)+P(\mathbf{x}|w_2)\cdot P(w_2)}=0.323\\ P(w_1|\mathbf{x})=1-P(w_2|\mathbf{x})=1-0.323=0.677\\ P(w_1|\mathbf{x})>P(w_2|\mathbf{x})\iff P(\mathbf{x}|w_1)\cdot P(w_1)>P(\mathbf{x}|w_2)\cdot P(w_2)\end{array}$$
$\therefore$甲呈阳性；正常，$\mathbf{x}\in w_1$

不符合逻辑，原因：先验不平衡，最小错误贝叶斯模型不是非常有效（先验统治分类结果）

极大似然估计

• 提供了一种给定观察数据来评估模型参数的方法

• 核心：独立同分布假设（i.i.d）

• 工具：对数似然，无限制最优化，等式限制最优化

• 思路：假设样本为独立同分布采样

$p({\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}};\theta )=p({\mathbf{x}}_1;\theta )p({\mathbf{x}}_2;\theta )...p({\mathbf{x}}_3;\theta )={\prod }_{i=1}^{n}p({\mathbf{x}}_{\mathbf{i}};\theta )$

$\log p({\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}};\theta )={\sum }_{i=1}^{n}logp({\mathbf{x}}_{\mathbf{i}};\theta )$

$\max p({\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}};\theta )\iff \min [-\log p({\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_{\mathbf{n}};\theta )]$

例题

罐子里黑白球，数目不知，比例不知，每次拿出一个再放回去，100次重复记录中70次是白球，白球所占比例最有可能是多少。

$x_i\in$[白，黑] $\to [1,0];$ 概率：$[p,1-p]$

每次取出球的概率：$f(x_i;p)=p^{x_i}(1-p{)}^{1-x_i}$

$f(x_1,x_2,...x_n;p)={\prod }_{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}=p^{n_1}(1-p{)}^{n_0}$

$L=-\log f(x_1,x_2,...x_n;p)=-n_1\log p-n_0\log (1-p)$

令$\frac{\partial L}{\partial p}=0\Rightarrow n_1\frac{1}{p}-n_0\frac{1}{1-p}=0\Rightarrow p=\frac{n_1}{n_0+n_1}$

$\because n_1=70,n_0+n_1=100$

$\therefore p=70$%

$\therefore$癌症和球两个例题用频率可直接代替概率。

最小风险贝叶斯

• 令$\{w_1,w_2,...,w_n\}$表示一系列类别状态

• 令$\{{\alpha }_1,{\alpha }_2,...,{\alpha }_n\}$表示一系列可能采取的行动（或决策）

• 令$\lambda ({\alpha }_i|w_j)$表示当实际类别状态为$w_j$时，采取${\alpha }_i$的行为会带来的风险。与行动${\alpha }_i$相关联的损失

$$R({\alpha }_i|\mathbf{x})=\sum _j\lambda ({\alpha }_i|w_j)P(w_j|\mathbf{x})$$

• 计算步骤：

1. 在给定样本$\mathbf{x}$的条件下，计算各类后验概率$P(w_j|\mathbf{x})$

2. 求各种判决的条件平均风险$R({\alpha }_i|\mathbf{x})=\sum \lambda ({\alpha }_i|w_j)P(w_j|\mathbf{x})$

3. 比较各种判决的条件平均风险，把样本$\mathbf{x}$归属于条件平均风险最小的那一种判决

${\alpha }^{\ast }=\arg {\min }_{i}R({\alpha }_i|\mathbf{x})$

癌症诊断

• 加入风险矩阵（须有专家给出）

类别
${\alpha }_1$	0.5	2
${\alpha }_2$	6	0.5

$\lambda ({\alpha }_1|w_1)=0.5,\lambda ({\alpha }_1|w_2)=6,\lambda ({\alpha }_2|w_1)=2,\lambda ({\alpha }_2|w_2)=0.5$

$P(w_1|\mathbf{x})=0.677$,$P(w_2|\mathbf{x})=0.323$

$R({\alpha }_1|\mathbf{x})={\sum }_{j=1}^2\lambda ({\alpha }_1|w_j)\cdot P(w_j|\mathbf{x})=2.2765$

$R({\alpha }_2|\mathbf{x})={\sum }_{j=1}^2\lambda ({\alpha }_2|w_j)\cdot P(w_j|\mathbf{x})=1.5155$

$R({\alpha }_2|\mathbf{x})<R({\alpha }_1|\mathbf{x})$

$\therefore$甲呈阳性，癌症,$\mathbf{x}\in w_2$。符合逻辑

最小错误率贝叶斯是最小风险贝叶斯的一个特例

• 假设正确判决损失为0，错误判决损失为1，且判决数目与类型数目相等。

分类器设计

• 多分类情况

判别函数$g_i(\mathbf{x})$,若对于所有的$j\ne i$都有$g_i(x)>g_j(x)$,则分类器将这个特征向量$\mathbf{x}$判给$w_i$,结构类似softmax。

• 不同情况下的分类器表示方法

1. 一般风险的情况下 $g_i(\mathbf{x})=-R({\alpha }_i|\mathbf{x})$

2. 最小误差概率情况下 $g_i(\mathbf{x})=P(w_i|\mathbf{x})$或$g_i(\mathbf{x})=\log P(w_i|\mathbf{x})$

3. 其他常见形式：

$g_i(\mathbf{x})=P(w_i|\mathbf{x})P(w_i)$

$g_i(\mathbf{x})=\log P(w_i|\mathbf{x})+\log P(w_i)$

生成模型（Generative Model）

• 建立似然概率，已知先验概率，通过贝叶斯模型来计算后验。

判决模型（Discriminative Model）

• 给定特征输入，不经过生成模型的建立过程，模型直接判定后验概率输出。

朴素贝叶斯

• 核心假设：特征类条件独立

  $P(\mathbf{x}|w_i)={\prod }_{k=1}^{K}P(x_k|w_i)$ $\mathbf{x}=[x_1,x_2,...,x_k]$

  所有的输入属性是条件独立的

• 朴素贝叶斯判决准则

  $w^{\ast }=\arg \max \{{\prod }_{k+1}^{K}P(x_k|w_i)P(w_i)\}$

• 当特征维度很高时，如果没有独立假设，需要估计的参数非常多。

例题计算步骤

1. 计算先验概率，即不看任何特征，只看类别的概率。
2. 计算每个特征在每种分类下的的似然概率，形成模型查询表。
3. 根据查询表和测试数据的各个特征计算不同分类的后验概率，取概率高的为分类结果。

• 零频问题（Zero-Frequency Problem）

  训练数据中统计数据为零的部分会严重的影响测试结果，连乘中出现零

  解决方法：

拉普拉斯平滑

• 为了解决零频问题

• 朴素贝叶斯似然概率计算公式为：$P(x_i|w)=\frac{|D_{w,x_i}|}{|D_w|}$

  分子为第w类属性取值为$x_i$集合的样本个数，分母为第w类数据集的样本个数

  先验概率计算公式为：$P(w)=\frac{|D_w|}{|D|}$

  分母为整体数据集样本个数

• 拉普拉斯平滑：

  似然概率：$P(x_i|w)=\frac{|D_{w,x_i}|+1}{|D_w|+N_i}$

  其中$N_i$为该属性取值个数

  先验概率：$P(w)=\frac{|D_w|+1}{|D|+N}$

  其中N为类别数

作业

(原题目懒得抄了有时间就回来更新题目)
使用拉普拉斯平滑训练模型
先验概率：

$\begin{array}{c}P(w_1)=\frac{9+1}{14+2}=\frac{5}{8}\\ P(w_2)=\frac{5+1}{14+2}=\frac{3}{8}\end{array}$

似然概率：

云：$\begin{array}{c}P(x_1|w_1)=\frac{4+1}{9+3}=\frac{5}{12}\\ P(x_1|w_2)=\frac{0+1}{5+3}=\frac{1}{8}\end{array}$

热：$\begin{array}{c}P(x_2|w_1)=\frac{1+1}{9+3}=\frac{1}{6}\\ P(x_2|w_2)=\frac{2+1}{5+3}=\frac{3}{8}\end{array}$

湿度高：$\begin{array}{c}P(x_3|w_1)=\frac{3+1}{9+2}=\frac{4}{11}\\ P(x_3|w_2)=\frac{4+1}{5+2}=\frac{5}{7}\end{array}$

有风：$\begin{array}{c}P(x_4|w_1)=\frac{3+1}{9+2}=\frac{4}{11}\\ P(x_4|w_2)=\frac{3+1}{5+2}=\frac{4}{7}\end{array}$

$\begin{array}{c}P(\mathbf{x}|w=1)P(w=1)=[\prod _{k=1}^{4}P(x_k|w=1)]P(w=1)=\frac{5}{12}\times \frac{1}{6}\times \frac{4}{11}\times \frac{4}{11}\times \frac{5}{8}\\ P(\mathbf{x}|w=0)P(w=0)=[\prod _{k=1}^{4}P(x_k|w=0)]P(w=0)=\frac{1}{8}\times \frac{3}{8}\times \frac{5}{7}\times \frac{4}{7}\times \frac{3}{8}\\ \frac{P(\mathbf{x}|w=1)P(w=1)}{P(\mathbf{x}|w=0)P(w=0)}=\frac{12320}{9801}>1\end{array}$

$\therefore$ 打网球

上一节：模型评估方法
下一节：线性回归