R语言使用朴素贝叶斯分类算法
说明
朴素贝叶斯分类器也是一类基于概率的分类器，它源于贝叶斯理论，假设样本属性之间相互独立。
操作
利用朴素贝叶斯分类器对churn数据集进行分类：
导入e1071库，使用naiveBayes函数构建分类器
library(e1071)
classifier = naiveBayes(trainset[,!names(trainset) %in% c("churn")],trainset$churn)
classifier
Naive Bayes Classifier for Discrete Predictors
Call:
naiveBayes.default(x = trainset[, !names(trainset) %in% c("churn")],
y = trainset$churn)
A-priori probabilities:
trainset$churn
yes no
0.1477322 0.8522678
Conditional probabilities:
international_plan
trainset$churn 0 1
yes 0.70467836 0.29532164
no 0.93512418 0.06487582
voice_mail_plan
trainset$churn 0 1
yes 0.8333333 0.1666667
no 0.7045109 0.2954891
number_vmail_messages
trainset$churn [,1] [,2]
yes 5.099415 11.80618
no 8.674607 14.03670
total_day_minutes
trainset$churn [,1] [,2]
yes 205.8877 69.10294
no 174.2555 50.16357
total_day_calls
trainset$churn [,1] [,2]
yes 101.0234 22.02903
no 100.5509 19.67038
total_day_charge
trainset$churn [,1] [,2]
yes 35.00143 11.747587
no 29.62402 8.527769
total_eve_minutes
trainset$churn [,1] [,2]
yes 213.7269 51.92206
no 199.6197 50.53780
total_eve_calls
trainset$churn [,1] [,2]
yes 101.4123 19.48658
no 99.9478 20.16161
total_eve_charge
trainset$churn [,1] [,2]
yes 18.16702 4.413058
no 16.96789 4.295730
total_night_minutes
trainset$churn [,1] [,2]
yes 205.4640 47.11434
no 201.4184 51.34049
total_night_calls
trainset$churn [,1] [,2]
yes 100.2573 20.32690
no 100.0193 19.68094
total_night_charge
trainset$churn [,1] [,2]
yes 9.245994 2.12038
no 9.063882 2.31040
total_intl_minutes
trainset$churn [,1] [,2]
yes 10.73684 2.752784
no 10.15119 2.819086
total_intl_calls
trainset$churn [,1] [,2]
yes 4.134503 2.487395
no 4.514445 2.394724
total_intl_charge
trainset$churn [,1] [,2]
yes 2.899386 0.7432760
no 2.741343 0.7611755
number_customer_service_calls
trainset$churn [,1] [,2]
yes 2.204678 1.808803
no 1.441460 1.150114
生成测试数据集分类表：
bayes.table = table(predict(classifier,testset[,!names(testset) %in% c("churn")]),testset$churn)
bayes.table
yes no
yes 68 45
no 73 832利用分类表生成混淆矩阵：
confusionMatrix(bayes.table)
Confusion Matrix and Statistics
yes no
yes 68 45
no 73 832
Accuracy : 0.8841
95% CI : (0.8628, 0.9031)
No Information Rate : 0.8615
P-Value [Acc > NIR] : 0.01880
Kappa : 0.4701
Mcnemar's Test P-Value : 0.01294
Sensitivity : 0.4823
Specificity : 0.9487
Pos Pred Value : 0.6018
Neg Pred Value : 0.9193
Prevalence : 0.1385
Detection Rate : 0.0668
Detection Prevalence : 0.1110
Balanced Accuracy : 0.7155
'Positive' Class : yes 说明
朴素贝叶斯算法假设特征变量都是条件独立，即预测变量（x）对分类结果（c）的影响与其它变量对c的影响是相互独立的。
先验概率P(ωj)是由先验知识而获得的。
后验概率P(ωj|x)，即假设特征值x已知的条件下类别属于ωj的概率。朴素贝叶斯算法的优势在于其简单性，应用也比较直接，适合用训练数据集规格较小，有可能存在某些缺失与噪音的情况，预测值的概率计算比较简单，算法不足之处在于它假定的所有的特征变量之间相互独立，并且同等重要，这个前提在现实世界中很难成立。
本节使用e1071包中的朴素贝叶斯分类器构成分类模型，首先，我们假定在朴素贝叶斯函数中调用的所有变量（包括churn类标号)都是输入函数的第一输入参数，churn类标号为算法的第二输入参数。接下来，将分类模型指派给不同的变量分类。再输出分类器的相关信息，包括函数调用、先验概率以及条件概率等。我们也可以使用predict函数预测结果，并使用table函数得到测试数据集的分类表，最后，生成混淆矩阵计算分类模型。