贝叶斯分类器的简单理解
贝叶斯分类器
贝叶斯分类器的分类原理是通过某对象的 先验概率
，利用 贝叶斯公式
计算出其 后验概率
，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN和GBN。
训练
和所有监督算法一样，贝叶斯分类器是利用样本进行训练的，每个样本包含了一个特征列表和对应的分类。假定我们要对一个分类器进行训练，使其能够正确的判断出：一个包含"python"的文档究竟是编程语言的，还是关于蛇的。
|
特征
|
分类 |
|
Python是以鸟和哺乳动物为食的大蟒
|
蛇
|
|
Python最初是作为一门脚本语言被开发出来的
|
语言
|
|
在印度尼西亚发现了一条14.935米长的Python
|
蛇
|
|
Python具有动态类型的系统
|
语言
|
|
拥有鲜艳表皮的Python
|
蛇
|
|
开源项目
|
语言
|
分类器记录了它迄今为止见过的所有特征，以及这些特征与某个特定分类相关的数字概率。分类器逐一接受样本的训练。
当经过某个样本的训练之后，分类器会更新该样本中特征与分类的概率，同时还会生成一个新的概率，即：在一篇属于某个分类的文档中，含有指定单词的概率。例如
|
特征
|
语言
|
蛇
|
|
dynamic
|
0.6
|
0.1
|
|
constrictor
|
0.0
|
0.6
|
|
long
|
0.1
|
0.2
|
|
source
|
0.3
|
0.1
|
|
and
|
0.95
|
0.95
|
另一方便，有些特征的所属分类则没有那么明确。比如：单词"and"出现在两个分类中的概率是差不多的（单词and几乎会出现在每一篇文档中，不管它属于哪一个分类。）分类器在经过训练之后。只会保留一个附有相应概率的特征列表，与某些其他的分类方法不同，此处的原始数据在训练之后，就没有必要再加以保存了。
分类
当一个贝叶斯分类器经过训练之后，我们就可以利用它来对新的项目进行自动分类了。假定我们有一篇新的文档，包含了“long” “dynamic” 和 “source”。
朴素贝叶斯分类器是通过下面的公式将概率组合起来的：
P( Category | Document) = P ( Document | Category ) * P( Category) / P(Document)
此处：
P(
Document
|
Category
) = P (Word1 | Category ) * P(
Word2
) / P(
Category
)
p
(
Document
|
Category
) 的取值来自于上表，比如
P( dynamic
| language
) = 0.6
p(
Category) 的取值则等于某个分类出现的总体概率，因为"
language
" 有一般的机会都会出现，所以 P(
language
) 的值为0.5
。无论是哪个分类，只要其
P( Category | Document)
的值相对较高，它就是我们预期的分类。
----
我们需要一个定义一个特征提取函数，该函数的作用是将我们用以训练或分类的数据转化成一个特征列表。
docclass.getwords('python is a dynamic language')
{'python':1,'dymaic':1,'language':1}
上述函数可用于创建一个新的分类器，针对字符串进行训练：
cl = docclass.nativebayes(docclass.getwords)
cl.setdb('test.db')
cl.train('pythons are constrictors','snake')
cl.train('python has dynamic types','language')
cl.train('python was developed as a scripting language','language')
然后进行分类
cl.classify('dynamic programming')
u'language'
cl.classify('boa constrictors')
u'snake'
对于允许使用的分类数量，此处并没有任何的限制，但是为了使分类器有一个良好的表现，我们需要为每个分类提供大量的样本。
优点和缺点
朴素贝叶斯分类器与其他方法相比最大的优势或许就在于，它在接受大数据量训练和查询时所具备的的高速度。即使选用超大规模的训练集，针对每个项目通常也只会有相对较少的特征数，并且对项目的训练和分类页仅仅是针对特征概率的数学运算而已。
尤其当训练量逐渐递增时则更加如此--在不借助任何旧有训练数据的前提下，每一组新的训练数据都有可能会引起概率值变化。对于一个如垃圾邮件过滤这样的应用程序而言，支持增量式训练的能力是非常重要的，因为过滤程序时常要对新到的邮件进行训练，然后必须即可进行相应的调整；更何况，过滤程序也未必有权限访问已经收到的所有邮件信息。
朴素贝叶斯分类器的另一大优势是，对分类器实际学习状况的解释还是相对简单的。由于每个特征的概率值都被保存了起来，因此我们可以在任何时候查看数据库，找到最合适的特征来区分垃圾邮件和非垃圾邮件，或是编程语言和蛇。保存在数据库中的这些信息都很有价值，它们有可能被用于其他的应用程序，或者作为构筑这些应用程序的一个良好基础。
朴素贝叶斯分类器的最大缺陷就是，它无法处理基于特征组合所产生的变化结果。假设有如下这样一个场景，我们正在尝试从非垃圾邮件中鉴别出垃圾邮件来：假设我们构建的是一个Web应用程序，因为单词“online”市场会出现在你的工作邮件中。而你的好友则在一家药店工作，并且喜欢给你发一些他碰巧在工作中遇到的奇闻趣事。同时，和大多数不善于严密保护自己邮件地址的人一样，偶尔你也会收到一封包含单词”online pharmacy“的垃圾邮件。
也许你已经看出此处的难点--我们往往会告诉分类器”onlie“和”pharmacy“是出现在非垃圾邮件中的，因此这些单词相对于非垃圾邮件的概率会高一些。当我们告诉分类器有一封包含单词”onlie pharmacy“ 的邮件属于垃圾邮件时，则这些单词的概率又会进行相应的调整，这就导致了一个经常性的矛盾。由于特征的概率是单独给出的，因此分类器对于各种组合的情况一无所知。在文档分类中，这通常不是什么大问题，因为一封包含单词”online pharmacy“的邮件中可能还会有其他的特征可以说明它是垃圾邮件，但是在面对其他问题时，理解特征的组合可能是至关重要的。