本讲视频及讲义链接

上一讲介绍了朴素贝叶斯算法区分垃圾邮件和非垃圾邮件的过程，在建模过程中，我们选取的特征的每一维都只有的取值,因此在对建立生成模型时，我们使用了用伯努利分布：

实际上这样的朴素贝叶斯分类器使用了多元伯努利事件模型(Multivariate Bernoulli Event Model)
不用太在意这个模型的名字，它只是说明这个模型用到了多个服从伯努利分布的随机变量。

更一般的情况，特征向量每一维可能有个取值，这时，对的建模就需要使用多项式分布，而不是伯努利分布。

多项式事件模型

这是一个专门用于文本分类的模型，它对文本的分类效果比之前介绍的朴素贝叶斯分类器还要好。当然你也可以尝试将它应用于其他问题。可以根据下面的内容来理解这个模型。

之前选取特征向量的方式丢失了一些信息，比如它没有记录每个词出现的次数等,于是我们需要采用一个新的模型来解决这个问题。

特征表示

多项式事件模型采用不同的特征表示方法：

一封邮件的特征向量的维数表示这封邮件包含的单词的个数，其中的第维表示这封邮件的第个词在词典中的索引值。也就是说，如果一封邮件包含300个单词，那么，我们继续假设词典中包含50000个单词，那么这封邮件的特征向量中的每一维的取值范围就是。

有了上述的特征向量的定义之后，对于每一封邮件，可以计算对应的联合概率：

这个模型所需的参数如下：

和之前的朴素贝叶斯分布一样，我们要将这些参数拟合为训练样本的极大似然估计：

对这个参数应用上一讲末尾讲到的Laplace平滑，得到如下参数:

其中是词典的大小，在我们的假设中是50000。

另外两个参数可以按如下式子拟合：

有了这些参数，在给出一个新的邮件时，要对它进行分类，只需要分别计算和，再比较它们的大小即可。