朴素贝叶斯分类器(Naive Bayes，NB)

朴素贝叶斯分类器

  朴素贝叶斯分类器模型属于监督学习模型，是概率模型和生成模型。简而言之，就是先学习类条件概率$p(x|y)$与先验概率$p(y)$，根据$p(x|y)$与$p(y)$利用贝叶斯公式求得$p(x,y)$，最后得到$p(y|x)$的相对大小。

---

贝叶斯定理

$$p(c_i|w)=\frac{p(w,c_i)}{p(w)}=\frac{p(w|c_i)p(c_i)}{p(w)}$$
  其中，$p(c_i|w)$为后验概率，$p(c_i)$为先验概率，$p(w|c_i)$在NB中称为类条件概率，$p(w,c_i)$为联合概率。

---

统计学习方法三要素

模型

  贝叶斯定理，对于输入训练集$T=\{(x_1,y_1),(x_2,y_2),(x_3,y_3)\dots (x_N,y_N)\}$，$y\in \{c_1,c_2\dots c_K\}$
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$
  

策略

   后验概率最大，即$arg\underset{y_k}{\max }p(y_k|x_i)$，$y_k$即为$x_i$的最终分类，$y_k\in \{c_1,c_2,c_3\dots c_K\}$，后验概率最大等价于期望损失最小，下面简单证明一下这个结论：
  以0-1损失函数为例：
$$L(y,f(x))=\{\begin{array}{ll}0& y=f(x)\\ 1& y̸=f(x)\end{array}$$
  其期望风险函数为(这里概率用的后验概率)
$$\begin{array}{rl}{R}_{exp}(f)& =\sum _{y_k=c_1}^{c_K}L(y_k,f(x_i))p(y_k|x_i)\\ & =p(y_k̸=f(x_i)|x_i)\\ & =1-p(y_k=f(x_i)|x_i)\end{array}$$

  可见，要使得$\min R_{exp}(f)$，即要求$\max p(y_k=f(x_i)|x_i)$，即$f(x)$要选择后验概率最大。

学习

   利用特征独立，即对于记录$x_i=(x_i^{(1)},x_i^{(2)}，x_i^{(3)}\dots x_i^{(j)})$，其类条件概率$p(x_i|y_{})=p((x_i^{(1)},x_i^{(2)}，x_i^{(3)}\dots x_i^{(j)})|y)$等价于$\prod _{n=1}^{j}p(x_i^{(n)}|y)$，即需要单独学习每个字段的类条件概率$p(x^{(n)}|y)$，同时也要学习先验概率$p(y)$，学习的方法可以选择极大似然估计或者贝叶斯估计。

利用极大似然估计进行学习

  下面利用极大似然估计推导$p(y)$与$p(x^{(n)}|y)$的计算公式，以类别总数为3为例，类别总数等于其它值时类似。

$$p(y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N},k=1,2,3$$
证明：设我们要估计的先验概率在$y=c_1,c_2,c_3$的概率分别为$p_1,p_2,p_3$，训练集中，$y=c_1,c_2,c_3$所占总数据的条数分别为$a_1,a_2,a_3$，$a_1+a_2+a_3=N$，则似然函数：
$$L(p|x)=\prod p(x;p)=p_1^{a_1}{p}_2^{a_2}{p}_3^{a_3}$$

  那么我们就有了下面的等式条件约束问题：
$$\begin{array}{rl}\max & p_1^{a_1}{p}_2^{a_2}{p}_3^{a_3}\\ s.t.& p_1+p_2+p_3=1\end{array}$$

  利用拉格朗日乘数法，构造拉格朗日函数如下：
$$L(p_1,p_2,p_3,\alpha )=p_1^{a_1}{p}_2^{a_2}{p}_3^{a_3}+\alpha (p_1+p_2+p_3-1)$$

  拉格朗日函数对$p_1,p_2,p_3,\alpha$求偏导等于0，如下：

$$\begin{gathered} \frac{\partial L}{\partial p_1}=a_1{p}_1^{a_1-1}{p}_2^{a_2}{p}_3^{a_3}+\alpha =0 \\ \frac{\partial L}{\partial p_2}=a_2{p}_2^{a_2-1}{p}_1^{a_1}{p}_3^{a_3}+\alpha =0 \\ \frac{\partial L}{\partial p_3}=a_3{p}_3^{a_3-1}{p}_1^{a_1}{p}_2^{a_2}+\alpha =0 \\ \frac{\partial L}{\partial \alpha }=p_1+p_2+p_3-1=0 \end{gathered}$$

  整理后如下：
$$\begin{gathered} \frac{p_1}{a_1}=\frac{p_2}{a_2}=\frac{p_3}{a_3} \\ {p}_1+p_2+p_3=1 \end{gathered}$$

  且$a_1+a_2+a_3=N$，最终结果如下：
$$\begin{gathered} p_1=\frac{a_1}{N} \\ {p}_2=\frac{a_2}{N} \\ {p}_3=\frac{a_3}{N} \end{gathered}$$

  证毕。

  同理证明：
$$p(x^{(n)}=a_{nl}|y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(n)}=a_{nl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$$

  $a_{nl}$表示字段$x^{(n)}$的第$l$个可能取值是$a_{nl}$。根据贝叶斯公式
$$p(x^{(n)}=a_{nl}|y=c_k)=\frac{p(x^{(n)}=a_{nl},y=c_k)}{p(y=c_k)}$$

  我们只需利用极大似然估计求得$p(x^{(n)}=a_{nl},y=c_k)$与$p(y=c_k)$的估计概率值即可，步骤同上。

  这个结论其实可以解释我们平时经常用到的，频率等于概率这一操作，其背后原理就是极大似然估计。

---

NB的假设条件

1. 特征独立，朴素(Naive)之名就是这么来的。
2. 特征同等重要。

---

算法流程

  输入：待分类点$x=(x^{(1)},x^{(2)},x^{(3)}\dots x^{(j)})$；训练集$T=\{(x_1,y_1),(x_2,y_2),(x_3,y_3)\dots (x_N,y_N)\}$，$x_i=(x_i^{(1)},x_i^{(2)},x_i^{(3)}\dots x_i^{(j)})$表示第$i$条记录，$x_i^{(j)}$表示第$i$条记录的第$j$个字段，$x^{(j)}\in \{a_{j1},a_{j2},a_{j3}\dots a_{j{S}_j}\}$，$a_{jl}$表示第$j$个字段可以取的第$l$个值，$y_i\in \{c_1,c_2\dots c_K\}$。
  输出：待分类点x的类别。
  执行流程：

1. 利用公式$p(x^{(n)}=a_{nl}|y=c_k)=\frac{\sum _{i=1}^{N}I(x_i^{(n)}=a_{nl},y_i=c_k)}{\sum _{i=1}^{N}I(y_i=c_k)}$求解类条件概率。
2. 利用公式$p(y=c_k)=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N}$求解先验概率。
3. 利用前面求解的类条件概率和先验概率，求得$arg\underset{c_k}{\max }\prod _{n=1}^{j}p(x^{(n)}|y=c_k)p(y=c_k)$，返回求得的$c_k$即为NB对分类点x的分类。

---

NB的应用

  NB的著名应用是文档分类。细节暂不介绍，下面仅介绍几种NLP中用到的文本处理模型。

  词集模型(set-of-words model)：仅考虑词是否出现，出现记为1，不出现记为0。
  词袋模型(bag-of-words model)：在词集模型基础上，记录词的出现次数。

---

NB的分类

  前面提到，NB主要学习步骤，就是求类条件概率$p(x|y)$与先验概率$p(y)$，有三种主流方法求解这两个概率：高斯NB(Gaussian NB)、多项式NB(Multinomial NB)、伯努利NB(Bernouli NB)。

多项式NB

$$p(y)=\frac{N_y+\alpha }{N+k\alpha }$$

  N是总共的记录条数，$N_y$是类为$y$的记录数，$k$是类个数，$\alpha$是平滑值。
$$p(x^{(l)}|y)=\frac{N_{y,x^{(l)}}+\alpha }{N_y+n\alpha }$$

  $N_y$是类为$y$的记录数，$N_{y,x^{(l)}}$是类为$y$且给定第$l$个特征$x^{(l)}$的具体取值的记录数，n是特征的维数，$\alpha$是平滑值。

伯努利NB

  和多项式NB类似，只不过每个特征要求为二项分布。

高斯NB

  用于特征是连续值的情况，认为特征是正态分布。
$$p(x^{(l)}|y)=\frac{1}{\sqrt{2\pi }{\sigma }_{y,x^{(l)}}}{e}^{-\frac{(x_i-{\mu }_{y,x^{(l)}}{)}^2}{2{\sigma }_{y,x^{(l)}}^2}}$$
  用MAP求参数${\mu }_{y,x^{(l)}}$与${\sigma }_{y,x^{(l)}}$，sk-learn库的GaussianNB求解参数${\mu }_{y,x^{(l)}}$与${\sigma }_{y,x^{(l)}}$时，直接求的特征的平均值和标准差。

---

参考文献：
《统计学习方法》