11.分类与监督学习，朴素贝叶斯分类算法

---

1.理解分类与监督学习、聚类与无监督学习。

【简述分类与聚类的联系与区别】

（1）联系：都是对数据集进行分类

（2）区别

 · 分类：已知数据集的类别个数。如泰坦尼克号人员存活可能性（生/亡）

 · 聚类：未知数据集的类别个数，将相似度高的归类到一起。如划分应届毕业生平均工资水平

【简述什么是监督学习与无监督学习】

 （1）监督学习（数据集有输入和输出数据）

通过已有的一部分输入数据与输出数据之间的相应关系。生成一个函数，将输入映射到合适的输出。

（2）无监督学习（数据集中只有输入）

直接对输入数据集进行建模

 

2.朴素贝叶斯分类算法 实例

利用关于心脏病患者的临床历史数据集，建立朴素贝叶斯心脏病分类模型。

有六个分类变量(分类因子)：性别，年龄、KILLP评分、饮酒、吸烟、住院天数

目标分类变量疾病：

–心梗

–不稳定性心绞痛

新的实例：–(性别=‘男’，年龄<70, KILLP=‘I'，饮酒=‘是’，吸烟≈‘是”，住院天数<7)

最可能是哪个疾病？

上传手工演算过程。

	性别	年龄	KILLP	饮酒	吸烟	住院天数	疾病
1	男	>80	1	是	是	7-14	心梗
2	女	70-80	2	否	是	<7	心梗
3	女	70-81	1	否	否	<7	不稳定性心绞痛
4	女	<70	1	否	是	>14	心梗
5	男	70-80	2	是	是	7-14	心梗
6	女	>80	2	否	否	7-14	心梗
7	男	70-80	1	否	否	7-14	心梗
8	女	70-80	2	否	否	7-14	心梗
9	女	70-80	1	否	否	<7	心梗
10	男	<70	1	否	否	7-14	心梗
11	女	>80	3	否	是	<7	心梗
12	女	70-80	1	否	是	7-14	心梗
13	女	>80	3	否	是	7-14	不稳定性心绞痛
14	男	70-80	3	是	是	>14	不稳定性心绞痛
15	女	<70	3	否	否	<7	心梗
16	男	70-80	1	否	否	>14	心梗
17	男	<70	1	是	是	7-14	心梗
18	女	70-80	1	否	否	>14	心梗
19	男	70-80	2	否	否	7-14	心梗
20	女	<70	3	否	否	<7	不稳定性心绞痛

 

 

3.使用朴素贝叶斯模型对iris数据集进行花分类。

尝试使用3种不同类型的朴素贝叶斯：

• 高斯分布型

1 from sklearn.datasets import load_iris
2 iris = load_iris()
3 from sklearn.naive_bayes import GaussianNB
4 gnb = GaussianNB()  #建立高斯分布模型
5 pred = gnb.fit(iris.data,iris.target)  #模型训练
6 y_pred = pred.predict(iris.data)   #分类预测
7 print(iris.data.shape[0],(iris.target != y_pred).sum())

运行结果：

输出总数据量，误差个数

 

• 多项式型

1 from sklearn import datasets
2 iris = datasets.load_iris()
3 from sklearn.naive_bayes import MultinomialNB
4 gnb = MultinomialNB()   #构造多项式分布模型
5 pred = gnb.fit(iris.data,iris.target)  #模型训练
6 y_pred = pred.predict(iris.data)   #分类预测
7 print(iris.data.shape[0],(iris.target != y_pred).sum())

运行结果：

输出总数据量，误差个数

 

• 伯努利型

1 from sklearn import datasets
2 iris = datasets.load_iris()
3 from sklearn.naive_bayes import BernoulliNB
4 gnb = BernoulliNB()   #构造伯努利模型
5 pred = gnb.fit(iris.data,iris.target)  #模型训练
6 y_pred = pred.predict(iris.data)   #分类预测
7 print(iris.data.shape[0],(iris.target != y_pred).sum())

运行结果：

输出总数据量，误差个数

 

并使用sklearn.model_selection.cross_val_score()，对各模型进行交叉验证。

• 验证高斯分布型

1 from sklearn.naive_bayes import GaussianNB
2 from sklearn.model_selection  import cross_val_score
3 gnb = GaussianNB()
4 scores = cross_val_score(gnb,iris.data,iris.target,cv=10)  #对高斯模型进行验证
5 print("Accuracy:%.3f"%scores.mean())

运行结果：

 

• 验证多项式型

1 from sklearn.naive_bayes import MultinomialNB
2 from sklearn.model_selection  import cross_val_score
3 gnb = MultinomialNB ()
4 scores = cross_val_score(gnb,iris.data,iris.target,cv=10)  #对多项式分布模型进行验证
5 print("Accuracy:%.3f"%scores.mean())

运行结果：

 

• 验证伯努利型

1 from sklearn.naive_bayes import BernoulliNB
2 from sklearn.model_selection  import cross_val_score
3 gnb = BernoulliNB()
4 scores = cross_val_score(gnb,iris.data,iris.target,cv=10)  #对伯努利模型进行验证
5 print("Accuracy:%.3f"%scores.mean())

运行结果：