统计学习方法第四章 朴素贝叶斯法公式推导

第四章 朴素贝叶斯法

• 基于贝叶斯定理和特征条件独立假设的分类方法

• 朴素贝叶斯法与贝叶斯估计是不同的概念

• 生成模型与判别模型
  $$\{\begin{array}{rl}& \text{生成模型}：P(Y|X)=\frac{P(X,Y)}{P(X)}\text{X,Y为随机变量}\\ & \text{判别模型}：Y=f(X),P(Y|X)\end{array}$$

朴素贝叶斯法的学习与分类

• 输入： 特征向量 $x\in \mathcal{X}\subseteq {\mathrm{R}}^n$ 为实例的特征向量,

  输出：类标记$y_i\in \mathcal{Y}=\left\{c_1,c_2,\cdots ,c_K\right\}$

  $X$是定义在输入空间 $\mathcal{X}$ 上的随机向量, $Y$ 是定义在输出空间 $\mathcal{Y}$ 上的随机变量。 $P(X,Y)$ 是 $X$ 和 $Y$ 的联合概率分布。训练数据集
  $$\begin{array}{rl}T& =\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\cdots ,\left(x_N,y_N\right)\right\}\\ & ={\left\{(x_i,y_i)\right\}}_{i=1}^N\end{array}$$
  由 $P(X,Y)$ 独立同分布产生。

• 先验概率分布：
  $$P(Y=c_k),k=1,2,...,K$$

• 条件概率分布：
  $$P\left(X=x\mid Y=c_k\right)=P\left(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}\mid Y=c_k\right),k=1,2,\cdots ,K$$

• 联合概率分布：

  由条件概率公式$P(AB)=P(B)P(A|B)$ , 结合上面的先验概率分布和条件概率分布，可得联合概率分布$P(X,Y)$（或者写成$P(Y,X)$）
  $$\begin{array}{rl}P(Y,X)& =P(Y=c_k,X=x)\\ & =P(Y=c_k)P(X=x\mid Y=c_k)\end{array}$$

• 生成模型(后验概率)：

  根据全概率公式和贝叶斯公式：
  $$\begin{array}{rl}P(B|A)& =\frac{P(AB)}{P(A)}\\ & =\frac{P(B)P(A|B)}{P(A)}\\ & =\frac{P(B)P(A|B)}{\sum P(B)P(A|B)}\\ & \\ \Rightarrow P\left(Y=c_k\mid X=x\right)& =\frac{P\left(Y=c_k,X=x\right)}{P(X=x)}\\ & =\frac{P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}{P(X=x)}\\ & =\frac{P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{k}P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}\end{array}$$

• 模型假设：条件独立性

  条件概率分布 $P\left(X=x\mid Y=c_k\right)$ 有指数级数量的参数，若不假设各属性条件独立性，其估计实际是不可行的。
  $$\begin{array}{rl}P\left(X=x\mid Y=c_k\right)& =P\left(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}\mid Y=c_k\right)\\ & =P(X^{(1)}=x^{(1)}\mid Y=c_k)\ast P(X^{(2)}=x^{(2)}\mid Y=c_k)\ast \cdots \\ & =\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)\end{array}$$
  事实上, 假设 $x^{(j)}$ 可取值有 $S_j$ 个, $j=1,2,\cdots ,n,Y$ 可取值有 $K$ 个, 那么参数个数 为 $K\prod _{j=1}^n{S}_j$ 。

  朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假 设, 朴素贝叶斯法也由此得名。

• 预测准则：后验概率最大（后面证明）

  结合条件独立性，后验概率为
  $$\begin{array}{rl}y& =\arg \underset{c_k}{\max }P\left(Y=c_k\mid X=x\right)\\ & =\frac{P\left(Y=c_k,X=x\right)}{P(X=x)}\\ & =\frac{P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}{P(X=x)}\\ & =\frac{P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{k}P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}\\ & =\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)},k=1,2,\cdots ,K\end{array}$$
  这是朴素贝叶斯法分类的基本公式。于是, 朴素贝叶斯分类器可表示为
  $$y=f(x)=\arg \underset{c_k}{\max }\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)}$$

---

后验概率最大化

• 朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设 选择 0-1 损失函数:
  $$L(Y,f(X))=\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$
  式中 $f(X)$ 是分类决策函数。这时, 期望风险函数为
  $$R_{\exp }(f)=E[L(Y,f(X))]$$
  当损失函数期望最小时候，等价与后验概率最大化
  $$y=\arg \underset{c_k}{\max }P\left(Y=c_k\mid X=x\right)$$

• 最小化期望风险
  $$\begin{array}{rl}\arg \min R_{\exp }(f)& =\arg \min E[L(Y,f(X))]\\ & =\arg \min \sum _Y\sum _{X}L(Y,f(X))P(X,Y)\\ & =\arg \min \sum _Y\sum _{X}L(Y,f(X))P(Y|X)P(X)\\ & =\arg \min \sum _X\left\{\sum _{Y}L(Y,f(X))P(Y|X)\right\}P(X)\\ & =E_X\sum _{Y}L(Y=c_k,f(X))P(Y=c_k|X)\end{array}$$
  即期望是对联合分布 $P(X,Y)$ 取的。由此取条件期望
  $$R_{\exp }(f)=E_X\sum _{k=1}^K\left[L\left(Y=c_k,f(X)\right)\right]P\left(Y=c_k\mid X\right)$$
  为了使期望风险最小化, 只需对 $X=x$ 逐个极小化, 由此得到:
  $$\begin{array}{rl}f(x)& =\arg \min R_{\exp }(f)\\ & =\arg \min E[L(Y,f(X))]\\ & =\arg \min \sum _{k=1}^K\left[L\left(Y=c_k,f(X)\right)\right]P\left(Y=c_k\mid X\right)\\ \because L(Y,f(X))& =\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}iff(X)=Y=c_k,thenL\left(Y=c_k,f(X)\right)=0,\therefore L\left(Y=c_k,f(X)\right)=I[f(x)\ne c_k]\\ \Rightarrow & =\arg \min \sum _{k=1}^{K}I[f(x)\ne c_k]P\left(Y=c_k\mid X\right)\\ & =\arg \min \sum _{k=1}^K\left[1-I[f(x)=c_k]\right]P\left(Y=c_k\mid X\right)\\ & =\arg \min \sum _{k=1}^K\left\{P\left(Y=c_k\mid X\right)-I[f(x)=c_k]P\left(Y=c_k\mid X\right)\right\}\\ & =\arg \min \left\{\sum _{k=1}^{K}P\left(Y=c_k\mid X\right)-\sum _{k=1}^{K}I[f(x)=c_k]P\left(Y=c_k\mid X\right)\right\}\\ \because & \sum _{k=1}^{K}P\left(Y=c_k\mid X\right)=1\\ \Rightarrow & =\arg \min \left\{1-\sum _{k=1}^{K}I[f(x)=c_k]P\left(Y=c_k\mid X\right)\right\}\\ & \text{等价于}\\ \Rightarrow & =\arg \max \sum _{k=1}^{K}I[f(x)=c_k]P\left(Y=c_k\mid X\right)\end{array}$$
  朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化
  $$\begin{array}{rl}f(x)& =\arg \min R_{\exp }(f)\\ & =\arg \max \sum _{k=1}^{K}I[f(x)=c_k]P\left(Y=c_k\mid X\right)\end{array}$$
  因为预测后验概率的最大，所以得找一个$c_k$，使得$I[f(x)=c_k]P(Y=c_k)$ 为真，这样一来，根据期望风险最小化准则就得到了后验概率最大化准则
  $$f(x)=\arg \underset{c_k}{\max }P(Y=c_k\mid X=x)$$

---

朴素贝叶斯的参数估计

• 根据上面的推导
  $$\begin{array}{rl}y& =\arg \max f(x)\\ & =\arg \underset{c_k}{\max }\frac{P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)}{{\sum }_{k}P\left(Y=c_k\right){\prod }_{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)}\\ & \propto \arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod _{j}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)\end{array}$$
  在朴素贝叶斯法中, 学习意味着估计 $P\left(Y=c_k\right)$ 和 $P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)$

• 极大似然估计：

  1. 先验概率 $P\left(Y=c_k\right)$ 的极大似然估计是
     $$P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,\cdots ,K$$

  2. 条件概率 $P(X^{(j)}=a_{jl}\mid Y=$ $c_k)$ 的极大似然估计是:(设第 $j$ 个特征 $x^{(j)}$ 可能取值的集合为 $\left\{a_{j1},a_{j2},\cdots ,a_{j{S}_j}\right\}$)
     $$\begin{array}{rl}& P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}\\ & j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K\end{array}$$
     , $x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征; $a_{jl}$ 是第 $j$ 个特征可能取的第 $l$ 个值; $I$ 为指 示函数。

• 贝叶斯估计

  用极大似然估计可能会出现所要估计的概率值为 0 的情况。这时会影响到后验概 率的计算结果, 使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地：

  1. 条件概率的贝叶斯估计是
     $$P_{\lambda }\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)+\lambda }{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+S_j\lambda }$$
     式中 $\lambda ⩾0$ 。等价于在随机变量各个取值的频数上赋予一个正数 $\lambda >0$ 。当 $\lambda =0$ 时就 是极大似然估计。常取 $\lambda =1$, 这时称为拉普拉斯平滑 (Laplacian smoothing)。显然, 对任何 $l=1,2,\cdots ,S_j,k=1,2,\cdots ,K$, 有
     $$\begin{array}{rl}& P_{\lambda }\left(X^{(j)}=a_{jl}\mid Y=c_k\right)>0\\ & \sum _{l=1}^{S_j}P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=1\end{array}$$
     同样

  2. 先验概率的贝叶斯估计是
     $$P_{\lambda }\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)+\lambda }{N+K\lambda }$$

---

朴素贝叶斯算法流程

• 算法 4.1 (朴素贝叶斯算法 (naïve Bayes algorithm）)
输入: 训练数据 $T={\left\{(x_i,y_i)\right\}}_{i=1}^N$, 其中 $x_i=(x_i^{(1)},x_i^{(2)},\cdots$, ${x_i^{(n)})}^{\mathrm{T}},x_i^{(j)}$ 是第 $i$ 个样本的第 $j$ 个特征, $x_i^{(j)}\in \left\{a_{j1},a_{j2},\cdots ,a_j{S}_j\right\},a_{jl}$ 是第 $j$ 个特 征可能取的第 $l$ 个值,$j=1,2,\cdots ,n,l=1,2,\cdots ,S_j,y_i\in \left\{c_1,c_2,\cdots ,c_K\right\}$; 实例 $x$;

  输出：实例 $x$ 的分类。
  (1) 计算先验概率及条件概率

  1. 先验概率

  $$P\left(Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)}{N},k=1,2,\cdots ,K$$
  2. 条件概率

  $$\begin{gathered} P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i=1}^{N}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i=1}^{N}I\left(y_i=c_k\right)} \\ j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K \end{gathered}$$
  (2) 对于给定的实例 $x={\left(x^{(1)},x^{(2)},\cdots ,x^{(n)}\right)}^{\mathrm{T}}$, 计算
  $$P\left(Y=c_k\right)\prod _{j=1}^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right),k=1,2,\cdots ,K$$
  （3）确定实例 $x$ 的类
  $$y=\arg \underset{c_k}{\max }P\left(Y=c_k\right)\prod ^{n}P\left(X^{(j)}=x^{(j)}\mid Y=c_k\right)$$

---