朴素贝叶斯分类(Naive Bayesian classification)

一、重要参考

1、《算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)》

http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

 

2、《算法杂货铺——分类算法之贝叶斯网络(Bayesian networks)》

http://www.cnblogs.com/leoo2sk/archive/2010/09/18/bayes-network.html

二、核心部分

朴素贝叶斯分类的正式定义如下：

      1、设为一个待分类项，而每个a为x的一个特征属性。

      2、有类别集合。

      3、计算。

      4、如果，则。

      那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

      1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。

      2、统计得到在各类别下各个特征属性的条件概率估计。即。

      3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：

      

      因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：