朴素贝叶斯模型

首先重述一下朴素贝叶斯模型(Naive Bayes model)的定义, 该模型包含$k$个特定的标签, 一个$d$维向量用于表示d个属性特征. 其包含以下参数:

• $q(y)$, 表示看见标签$y$的概率, 其满足约束$q(y)\ge 0$并且${\sum }_{y=1}^{k}q(y)=1$.
• $q_j(x|y)$,其中$j\in \{1...d\},x\in \{-1,+1\},y\in \{1...k\}$.表示在标签$y$的条件下,第$j$个属性取$x$的概率, 其满足约束$q_j(x|y)\ge 0$并且对于所有$y$和$j$,${\sum }_{x\in \{-1,+1\}}{q}_j(x|y)=1$.

则对于任意的$y,x_1...x_d$我们可以定义如下概率:
$$p(y,x_1...x_d)=q(y)\prod _{j=1}^d{q}_j(x_j|y)$$
我们需要在训练集中进行参数估计,一旦参数确定,对于测试案例$x=<x_1,x_2,...,x_d>$,模型的输出为:
$$arg\underset{y\in \{1...k\}}{\max }p(y,x_1,...,x_d)=arg\underset{y\in \{1...k\}}{\max }\left(q(y)\prod _{j=1}^d{q}_j(x_j|y)\right)$$
利用最大似然估计, $q(y)$可以估计为:
$$q(y)=\frac{{\sum }_{i=1}^n[[y^{(i)}=y]]}{n}=\frac{count(y)}{n}$$
这里定义$[[y^{(i)}=y]]$为1, 如果$y^{(i)}=y$, 反之为0. 因此分子表示训练集中标签$y$出现的次数. 类似地, $q_j(x|y)$可以写成:
$$q_j(x|y)=\frac{{\sum }_{i=1}^n[[y^{(i)}=yand{x}_j^{(i)}=x]]}{{\sum }_{i=1}^n[[y^{(i)}=y]]}=\frac{coun{t}_j(x|y)}{count(y)}$$
其中:
$$coun{t}_j(x|y)=\sum _{i=1}^n[[y^{(i)}=yand{x}_j^{(i)}=x]]$$
这是一个非常直观的表示,我们统计了训练集中所有标签为$y$, 并且$x_j$取$x$的案例的个数, 然后统计了训练集中所有标签为$y$的案例的个数, 最后将这两项的比值作为$q_j(x|y)$.

下面给出上面估计方式的具体证明, 首先给出多项式分布的最大似然分布. 定义在有限集$\mathcal{Y}$的分布表示成一个向量$q$, 其中每一项$q_y,y\in \mathcal{Y}$表示看见元素$y$的概率. 定义${\mathcal{P}}_{\mathcal{Y}}$为所有分布的集合:
$${\mathcal{P}}_{\mathcal{Y}}=\{q\in {\mathbb{R}}^{|\mathcal{Y}|}:\forall y\in \mathcal{Y},q_y\ge 0;\sum _{y\in \mathcal{Y}}{q}_y=1\}$$
除此之外,假定存在一个向量$c$, 其中每一项$c_y,y\in \mathcal{Y}$我们假定$c_y\ge 0$, 很多情况下$c_y$通常表示看见$y$的个数. 我们可以定义如下优化问题:
$$q^{\ast }=\arg \underset{q\in {\mathcal{P}}_{\mathcal{Y}}}{\max }\sum _{y\in \mathcal{Y}}{c}_y\log q_y$$
因此$q^{\ast }$为使得上式最大化的最优分布. 考虑到函数${\sum }_{y\in \mathcal{Y}}{c}_y\log q_y$满足约束$q_y\ge 0and{\sum }_{y\in \mathcal{Y}}{q}_y=1$.简单起见,假设对于所有的$y$,$c_y>0$. 由拉格朗日乘子法,目标函数为:
$$g(\lambda ,q)=\sum _{y\in \mathcal{Y}}{c}_y\log q_y-\lambda \left(\sum _{y\in \mathcal{Y}}{q}_y-1\right)$$
则最优的$q_y^{\ast }$满足以下条件:
$$\begin{gathered} \sum _{y\in \mathcal{Y}}{q}_y=1 \\ \frac{d}{d{q}_y}g(\lambda ,q)=\frac{c_y}{q_y}-\lambda =0 \end{gathered}$$
可以得到:
$$q_y=\frac{c_y}{\lambda }=\frac{c_y}{{\sum }_{y\in \mathcal{Y}}{c}_y}$$
对于给定的训练集$(x^{(i)},y^{(x)})$, 其中$i=1...n$, 我们需要最大化以下对数似然函数:
$$\begin{array}{rl}L(\theta )& =\sum _{i=1}^n\log p(x^{(x)},y^{(i)})\\ & =\sum _{i=1}^n\log \left(q(y^{(i)})\prod _{j=1}^d{q}_j(x_j^{(i)}|y^{(i)})\right)\\ & =\sum _{i=1}^n\log q(y^{(i)})+\sum _{i=1}^n\log \left(\prod _{j=1}^d{q}_j(x_j^{(i)}|y^{(i)})\right)\\ & =\sum _{i=1}^n\log q(y^{(i)})+\sum _{i=1}^n\sum _{j=1}^d{q}_j(x_j^{(i)}|y^{(i)})\end{array}$$
其中, $\theta$表示模型的所有参数.

我们可以将上式重写为:
$$\begin{array}{rl}L(\theta )& =\sum _{i=1}^n\log q(y^{(i)})+\sum _{i=1}^n\sum _{j=1}^d{q}_j(x_j^{(i)}|y^{(i)})\\ & =\sum _{y\in \mathcal{Y}}count(y)\log q(y)+\sum _{j=1}^d\sum _{y\in \mathcal{Y}}\sum _{x\in \{-1,+1\}}coun{t}_j(x|y)\log q_j(x|y)\end{array}$$
理由如下, 左边的项等于:
$$\begin{array}{rl}\sum _{i=1}^n\log q(y^{(i)})& =\sum _{i=1}^n\sum _{y=1}^k[[y^{(i)}=y]]\log q(y)\\ & =\sum _{y=1}^k\sum _{i=1}^n[[y^{(i)}=y]]\log q(y)\\ & =\sum _{y=1}^k\log q(y)\sum _{i=1}^n[[y^{(i)}=y]]\\ & =\sum _{y=1}^k(\log q(y))\times count(y)\end{array}$$
类似地, 右边的项可以写为:
$$\sum _{i=1}^n\sum _{j=1}^d{q}_j(x_j^{(i)}|y^{(i)})=\sum _{j=1}^d\sum _{y\in \mathcal{Y}}\sum _{x\in \{-1,+1\}}coun{t}_j(x|y)\log q_j(x|y)$$
而且我们知道右边的项并不依赖于参数$q(y)$, 根据上文所述的多项式分布的最优参数估计, 我们分别最大化左右两项得到最优参数为:
$$\begin{gathered} q(y)=\frac{count(y)}{{\sum }_{y=1}^{k}count(y)}=\frac{count(y)}{n} \\ {q}_j(x|y)=\frac{coun{t}_j(x|y)}{{\sum }_{x\in \{-1,+1\}}coun{t}_j(x|y)}=\frac{coun{t}_j(x|y)}{count(y)} \end{gathered}$$
至此, 证明完毕.