Naive Bayes算法（朴素贝叶斯算法）

       贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN和GBN。应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT 学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是 NP 完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，Naive Bayes、TAN、BAN、GBN 就是其中较典型、研究较深入的贝叶斯分类器。
 
内容：

       NaiveBayes（朴素贝叶斯，下面简称NB）是ML中的一个非常基础和简单的算法，常常用它来做分类，我用它做过文本分类。现在的研究中大概已经很少有人用它来实验了（除非是做base line），但确实是个很好的入门的算法，来帮助自己更加深刻的理解ML的本质。

       首先从Bayes公式开头：

P（C/W） = P(C) * P(W/C) / P(W)

       这个公式是ML中最基本也是最常用到的公式，怎么强调它的重要性都不过分。为了更容易理解这个公式，我将bayes公式放在文本分类问题中进行解释。

       公式的左边，C代表的是文本的类别（例如是体育或者娱乐），W往往是一个测试样本（例如某篇新闻），P(C/W)代表的是这个样本归属于该类别的概率，我们实际中的任务常常就是要得到样本归属各个类别的概率值P(C1/W),P(C2/W)...P(CN/W)，然后最大概率值所对应的类别Ci就是该样本被分配的类。

       计算这个概率值的方法就是bayes公式的右边。P(C)表示C这个类别在所有文本中的概率，是先验概率。  实际中，这个值往往通过训练语料计算得到，例如，将训练语料中所有的体育文本数除以训练语料总的文本数，就是体育这个类别的先验概率。
       P(W)则是通过这个公式计算：

P(W) =  ∑P(W/Ci) * P(Ci)

       可以看出，P(W)的计算可以通过 P(C)和P(W/C)得到。
       P(W/C)的计算下面将重点介绍：
       现在的问题是怎样计算P(W/C)。在现实中，W这个样本往往是用向量表示的，包括了很多的分量 W = (w1, w2, w3,  ... wn)， 所以 P(W/C) = P(w1, w2, w3,  ... wn / C)，NB的核心在于它假设向量的所有分量之间是独立的。

Wi is independent of Wj, if i != j

       对！这个假设就是NB的全部内容了，是不是很简单。有了这个假设，P(W/C)的计算就变为：

P(W/C) = ∏ P(wi / C),  <成立的条件就是每个分量之间相互独立>

       有人可能会问，那么 P(Wi / C)怎么求呢。以文本分类为例，将文本作为一个向量，那么Wi的分量就是一个词在这个文本中是否存在。例如：

Wi =  1   if  "乔丹" 在文本中出现 0   otherwise

       对于这个Wi，它的P(Wi / C体育) 就是统计所有的体育文章中有多少篇出现了“乔丹”这个词，然后用 出现篇章数 / 所有体育篇章数就是我们要的概率值了。回过头看，其实NB很简单，就是在bayes公式的基础上多了一个独立性假设，很好理解的。
 
比较：
　    分类是将一个未知样本分到几个预先已知类的过程。数据分类问题的解决是一个两步过程：第一步,建立一个模型，描述预先的数据集或概念集。通过分析由属性描述的样本（或实例，对象等）来构造模型。假定每一个样本都有一个预先定义的类，由一个被称为类标签的属性确定。为建立模型而被分析的数据元组形成训练数据集，该步也称作有指导的学习。
　　在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。决策树模型通过构造树来解决分类问题。首先利用训练数据集来构造一棵决策树，一旦树建立起来，它就可为未知样本产生一个分类。在分类问题中使用决策树模型有很多的优点，决策树便于使用，而且高效；根据决策树可以很容易地构造出规则，而规则通常易于解释和理解；决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小；决策树模型的另外一大优点就是可以对有许多属性的数据集构造决策树。决策树模型也有一些缺点，比如处理缺失数据时的困难，过度拟合问题的出现，以及忽略数据集中属性之间的相关性等。
　　和决策树模型相比，朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。