机器学习算法实现（四）：NavieBayes

朴素贝叶斯(NavieBayes)算法R代码

第一步：加载包e1071

library(e1071)library(printr)

第二步：iris数据集分为训练集和测试集

index <-sample(1:nrow(iris), 100)iris.train <-iris[index, ]iris.test <-iris[-index, ]

第三步：利用朴素贝叶斯算法构建模型

model.NaiveBayes <-naiveBayes(x =subset(iris.train,select=-Species),

y= iris.train$Species)

第四步：用模型对测试集做测试

results.NaiveBayes <-predict(object =

model.NaiveBayes, newdata =iris.test, type='class')

第五步：混淆矩阵

table(results.NaiveBayes, iris.test$Species)

results.NaiveBayes/    setosa     versicolor     virginica     

setosa                         18                0                       0    

versicolor                     0                 15                      1

virginica                       0                  0                      16

朴素贝叶斯算法思想

贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知其出现概率的情况下，如何完成推理和决策任务。概率推理是与确定性推理相对应的。而朴素贝叶斯分类器是基于独立假设的，即假设样本每个特征与其他特征都不相关。

贝叶斯分类器特点

1、需要知道先验概率，先验概率是计算后验概率的基础。在传统的概率理论中，先验概率可以由大量的重复实验所获得的各类样本出现的频率来近似获得，其基础是“大数定律”，这一思想称为“频率主义”。而在称为“贝叶斯主义”的数理统计学派中，他们认为时间是单向的，许多事件的发生不具有可重复性，因此先验概率只能根据对置信度的主观判定来给出，也可以说由“信仰”来确定。

2、按照获得的信息对先验概率进行修正在没有获得任何信息的时候，如果要进行分类判别，只能依据各类存在的先验概率，将样本划分到先验概率大的一类中。而在获得了更多关于样本特征的信息后，可以依照贝叶斯公式对先验概率进行修正，得到后验概率，提高分类决策的准确性和置信度。

3、分类决策存在错误率由于贝叶斯分类是在样本取得某特征值时对它属于各类的概率进行推测，并无法获得样本真实的类别归属情况，所以分类决策一定存在错误率，即使错误率很低，分类错误的情况也可能发生。

参考文献：

本文转载自    http://www.360doc.com/userhome.aspx?userid=26290960&cid=10