基于python的贝叶斯分类算法预测_python机器学习:3：朴素贝叶斯算法
1.朴素贝叶斯的基本概念
1.1贝叶斯定理：
朴素贝叶斯(Naive Bayers)算法是一种基于概率统计的分类方法。它在条件独立假设的基础上，使用贝叶斯定理构建算法，在文本处理领域有广泛的应用。公式如下：
1.2朴素贝叶斯的简单应用：
过去的7天当中，有3天下雨，4天没有下雨。用0代表未下雨，1代表下雨，可以用一个数组来表示：
而这7天当中，还有另外一些信息，包括刮北风、闷热、多云，以及天气预报给出的信息，入表所示：
image.png
[图片上传中...(image.png-92e81-1561458243427-0)]
同样地，用0代表否，1代表是，可以得到另外一个数组：
通过python程序找出下雨和未下雨的规律
#将X，y赋值为np数组
X = np.array([[0, 1, 0, 1],
[1, 1, 1, 0],
[0, 1, 1, 0],
[0, 0, 0, 1],
[0, 1, 1, 0],
[0, 1, 0, 1],
[1, 0, 0, 1]])
y = np.array( [0, 1, 1, 0, 1, 0, 0])
#对不同分类计算每个特征为1的数量
counts = {}
for label in np.unique(y):
counts[label] = X[y == label].sum(axis=0)
print("feature counts:\n{}".format(counts))
打印结果：
feature counts:
{0: array([1, 2, 0, 4]), 1: array([1, 3, 3, 0])}
分析结果：
y=0(未下雨)，这四天里，1天刮北风，2天闷热，没多云，4天播报有雨
y=1(下雨)，这四天里，1天刮北风，3天闷热，3天多云，未播报有雨
将X变量和y分类目标代入朴素贝叶斯来进行预测：
from sklearn.naive_bayes import BernoulliNB
clf = BernoulliNB()
clf.fit(X, y)
#要进行预测的这一天，没有刮北风，也不闷热
#但是多云，天气预报没有说有雨
Next_Day = [[0, 0, 1, 0]]
pre = clf.predict(Next_Day)
if pre == [1]:
print("要下雨啦，快收衣服啊！")
else:
print("放心，又是一个艳阳天")
打印结果：
要下雨啦，快收衣服啊！
朴素贝叶斯预测准确率：
clf.predict_proba(Next_Day)
打印结果：
array([[ 0.13848881, 0.86151119]])
结果：不下雨的概率：13.8%，下雨概率：86.2%
2.朴素贝叶斯算法的不同方法
2.1贝努利朴素贝叶斯：
贝努利贝叶斯方法比较适合于符合贝努利分布的数据集，贝努利分布也被称为“二项分布”或者是“0-1分布”
验证贝努利贝叶斯模型：
from sklearn.datasets import make_blobs
from sklearn.model_selection import train_test_split
X, y = make_blobs(n_samples=500, centers=5,random_state=8)
X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=8)
nb = BernoulliNB()
nb.fit(X_train,y_train)
print('模型得分：{:.3f}'.format(nb.score(X_test, y_test)))
打印结果：
模型得分：0.544
结果分析：得分很糟糕
仅此了解一下贝努利朴素贝叶斯的工作工程：
import matplotlib.pyplot as plt
x_min, x_max = X[:,0].min()-0.5, X[:,0].max()+0.5
y_min, y_max = X[:,1].min()-0.5, X[:,1].max()+0.5
xx,yy = np.meshgrid(np.arange(x_min, x_max,.02),
np.arange(y_min, y_max, .02))
z = nb.predict(np.c_[(xx.ravel(),yy.ravel())]).reshape(xx.shape)
plt.pcolormesh(xx,yy,z,cmap=plt.cm.Pastel1)
plt.scatter(X_train[:,0],X_train[:,1],c=y_train,cmap=plt.cm.cool,edgecolor='k')
plt.scatter(X_test[:,0],X_test[:,1],c=y_test,cmap=plt.cm.cool,marker='*',
edgecolor='k')
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.title('Classifier: BernoulliNB')
plt.show()
image.png
图中可以看到贝努利朴素贝叶斯的模型十分简单，它分别在横轴等于0和纵轴等于0的位置画了两条直线，再用这两条直线形成的4个象限对数据进行分类。难怪模型的得分这么差了。
所以在这种情况下，就不能再使用贝努利朴素贝叶斯，而是要用到其他的方法，例如高斯朴素贝叶斯。
3.1高斯朴素贝叶斯：
1.定义：高斯朴素贝叶斯，顾名思义，是假设样本的特征符合高斯分布，或者说符合正太分布时所用的算法。
2.对上面所生成的数据集用高斯朴素贝叶斯来模型进行拟合：
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
gnb.fit(X_train, y_train)
print('模型得分：{:.3f}'.format(gnb.score(X_test, y_test)))
打印结果：
模型得分：0.968
结果分析：模型得分很高，说明生成的手工数据及基本符合正态分布的情况。
3.了解高斯朴素贝叶斯的工作过程：
z = gnb.predict(np.c_[(xx.ravel(),yy.ravel())]).reshape(xx.shape)
plt.pcolormesh(xx,yy,z,cmap=plt.cm.Pastel1)
plt.scatter(X_train[:,0],X_train[:,1],c=y_train,cmap=plt.cm.cool,edgecolor='k')
plt.scatter(X_test[:,0],X_test[:,1],c=y_test,cmap=plt.cm.cool,marker='*',
edgecolor='k')
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.title('Classifier: GaussianNB')
plt.show()
image.png
从图中可以看到，高斯朴素贝叶斯的分类边界比贝努利朴素贝叶斯的分类边界要复杂很多，基本上把数据点分到了正确的分类了。
3.1多项式朴素贝叶斯：
1.定义：多项式朴素贝叶斯，顾名思义，从名字上也可以判断出它主要用于拟合多项式分布的数据集。
2.理解多项式分布：可能多项式分布相对于二项式分布和高斯分布来说，我们会接触少一些，但如果我们可以理解二项分布，那么理解多项式分布也会非常简单。二项式分布可以通过抛硬币的例子来进行理解，那么多项式分布就可以用掷骰子来理解。筛子有6个面，每次面朝上的次数分布情况，就是一个多项式分布。
3.继续使用上面的手工数据集来对多项式朴素贝叶斯模型进行实验：
from sklearn.naive_bayes import MultinomialNB
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
scaler.fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)
mnb = MultinomialNB()
mnb.fit(X_train_scaled, y_train)
print('模型得分：{:.3f}'.format(mnb.score(X_test_scaled, y_test)))
打印结果：
模型得分：0.320
结果分析：虽然经过了预处理，将所有特征值转化为非负数，但是多项式朴素贝叶斯模型得分还是很低。
用图形表示多项式朴素贝叶斯：
z = mnb.predict(np.c_[(xx.ravel(),yy.ravel())]).reshape(xx.shape)
plt.pcolormesh(xx,yy,z,cmap=plt.cm.Pastel1)
plt.scatter(X_train[:,0],X_train[:,1],c=y_train,cmap=plt.cm.cool,edgecolor='k')
plt.scatter(X_test[:,0],X_test[:,1],c=y_test,cmap=plt.cm.cool,marker='*',
edgecolor='k')
plt.xlim(xx.min(),xx.max())
plt.ylim(yy.min(),yy.max())
plt.title('Classifier: MultinomialNB')
plt.show()
image.png
从图中看出，多项式朴素贝叶斯的分类确实比贝努利朴素贝叶斯还差一些，这是因为，多项式朴素贝叶斯只适合用来对非负离散数值特征进行分类，典型的例子就是对转化为向量后的文本数据进行分类。
3.朴素贝叶斯算法实战：判断肿瘤是良性还是恶性
3.1数据集准备：
威斯康星乳腺肿瘤数据集是一个非常经典的用于医疗病情分析的数据集，样本分为两类：恶性和良性
X, y = cancer.data, cancer.target
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=38)
print('训练集数据形态：',X_train.shape)
print('测试集数据形态：',X_test.shape)
打印结果：
训练集数据形态： (426, 30)
测试集数据形态： (143, 30)
3.2使用高斯朴素贝叶斯进行建模：
gnb = GaussianNB()
gnb.fit(X_train, y_train)
print('训练集得分：{:.3f}'.format(gnb.score(X_train, y_train)))
print('测试集得分：{:.3f}'.format(gnb.score(X_test, y_test)))
打印结果：
训练集得分：0.948
测试集得分：0.944
3.3使用模型进行预测：
print('模型预测的分类是：{}'.format(gnb.predict([X[312]])))
print('样本的正确分类是：',y[312])
打印结果：
模型预测的分类是：[1]
样本的正确分类是： 1
结果分析：和正确分类完全一致，都是分类1。
4高斯朴素贝叶斯的学习曲线：
#导入学习曲线库
from sklearn.model_selection import learning_curve
#导入随机拆分工具
from sklearn.model_selection import ShuffleSplit
#定义一个函数绘制学习曲线
def plot_learning_curve(estimator, title, X, y, ylim=None, cv=None,
n_jobs=1, train_sizes=np.linspace(.1, 1.0, 5)):
plt.figure()
plt.title(title)
if ylim is not None:
plt.ylim(*ylim)
#定义横轴标签
plt.xlabel("Training examples")
#定义纵轴标签
plt.ylabel("Score")
train_sizes, train_scores, test_scores = learning_curve(
estimator, X, y, cv=cv, n_jobs=n_jobs, train_sizes=train_sizes)
train_scores_mean = np.mean(train_scores, axis=1)
test_scores_mean = np.mean(test_scores, axis=1)
plt.grid()
plt.plot(train_sizes, train_scores_mean, 'o-', color="r",
label="Training score")
plt.plot(train_sizes, test_scores_mean, 'o-', color="g",
label="Cross-validation score")
plt.legend(loc="lower right")
return plt
#设定图题
title = "Learning Curves (Naive Bayes)"
#设定拆分数量
cv = ShuffleSplit(n_splits=100, test_size=0.2, random_state=0)
#设定模型为高斯朴素贝叶斯
estimator = GaussianNB()
#调用我们定义好的函数
plot_learning_curve(estimator, title, X, y, ylim=(0.9, 1.01), cv=cv, n_jobs=4)
#显示图片
plt.show()
image.png