python sklearn 朴素贝叶斯分类

概述

朴素贝叶斯分类器(Naïve Bayes classifier)是一种相当简单常见但是又相当有效的分类算法，在监督学习领域有着很重要的应用。这个算法叫做Naïve Bayes，但是它到底naive（朴素）在哪里呢？朴素贝叶斯分类器采用了“属性条件独立假设”（attribute conditional independent assumption），用通俗的话来讲，就是一个属性，或者是我们所说的特征，相互之间是独立的；也正是有了这个假设，朴素贝叶斯分类器才能做这么多事情，在监督学习的世界里有着这么广泛的应用

简单来说：基于概率思想的简单有效的分类模型。

参考资料:
https://scikit-learn.org/stable/user_guide.html
https://scikit-learn.org/stable/modules/naive_bayes.html
https://zhuanlan.zhihu.com/p/26055646
https://zhuanlan.zhihu.com/p/26262151
https://blog.csdn.net/YangWei_19/article/details/79971257

一些概念

• 一个简单的问题：

举个例子：西瓜书里面，有好多不同属性的西瓜。我们从一片瓜地里做出的大量西瓜得出数据

编号	花条纹清晰/模糊	敲击清脆/浑浊	瓜蒂鲜嫩/枯老/无瓜蒂	口感 甜/ 不甜
1	清晰	清脆	无瓜蒂	甜
2	清晰	浑浊	鲜嫩	甜
3	模糊	清脆	无瓜蒂	不甜
...	...	...	...	...
9997	模糊	清脆	无瓜蒂	不甜
9998	模糊	浑浊	枯老	甜
9999	清晰	清脆	枯老	甜

买瓜的阿姨挑了一个，发现是　花条纹清晰、敲击清脆、瓜蒂枯老，(可能这个混合还是样本9999中没出现的组合类型)　请问这个瓜甜/不甜的概率 ？

假设花条纹、敲击声音、瓜蒂鲜嫩度之间是无关的属性（朴素），利用贝叶斯概率公式，我们可以得到某些熟悉出现的概率。
对于未出现的组合属性，有拉普拉斯平滑估算后验概率。

• 在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。

  • GaussianNB就是先验为高斯分布的朴素贝叶斯，
  • MultinomialNB就是先验为多项式分布的朴素贝叶斯，
  • BernoulliNB就是先验为伯努利分布的朴素贝叶斯

• 这三个类适用的分类场景各不相同，一般来说，

  • 如果样本特征的分布大部分是连续值，使用GaussianNB会比较好。
  • 如果样本特征的分布大部分是多元离散值，使用MultinomialNB比较合适。
  • 如果样本特征是二元离散值或者很稀疏的多元离散值，应该使用BernoulliNB。

python 的 sklearn.baive_bayes 朴素贝叶斯接口

sklearn.naive_bayes.GaussianNB

• 参考资料: https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.GaussianNB.html#sklearn.naive_bayes.GaussianNB

• 函数接口:

  
  
  gaussianNB.png

• 使用案例:

import numpy as np
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
Y = np.array([1, 1, 1, 2, 2, 2])
from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()
clf.fit(X, Y)

print(clf.predict([[-0.8, -1]]))

clf_pf = GaussianNB()
clf_pf.partial_fit(X, Y, np.unique(Y))

print(clf_pf.predict([[-0.8, -1]]))

sklearn.naive_bayes.MultinomialNB

• 参考资料: https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.MultinomialNB.html#sklearn.naive_bayes.MultinomialNB

• 函数接口:

  
  
  multinomialNB.png

• 使用案例:

import numpy as np
rng = np.random.RandomState(1)
X = rng.randint(5, size=(6, 100))    # ６组，每组100个数０－４
y = np.array([1, 2, 3, 4, 5, 6])    　
from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB()
clf.fit(X, y)

print(clf.predict(X[2:3]))          ＃　预测 X 的第三组数

[3]

sklearn.naive_bayes.BernoulliNB

• 参考资料: https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.BernoulliNB.html#sklearn.naive_bayes.BernoulliNB

• 函数接口:

  
  
  bernoulliNB.png

• 使用案例:

import numpy as np
rng = np.random.RandomState(1)
X = rng.randint(5, size=(6, 100))   # ６组，每组100个数０－４
Y = np.array([1, 2, 3, 4, 4, 5])　　　＃　y 是５ 个
from sklearn.naive_bayes import BernoulliNB
clf = BernoulliNB()
clf.fit(X, Y)

print(clf.predict(X[2:3]))

[3]

sklearn.naive_bayes.其他

• 补充朴素贝叶斯:ComplementNB实现补码朴素贝叶斯（CNB）算法。CNB是标准多项式朴素贝叶斯（MNB）算法的改编，特别适合于不平衡数据集。具体来说，CNB使用来自每个类的补充的统计信息来计算模型的权重
• 分类朴素贝叶斯:CategoricalNB为分类分布的数据实现分类朴素贝叶斯算法

实际案例

测试数据集load_iris：
这个数据集里一共包括150行记录，其中前四列为花萼长度，花萼宽度，花瓣长度，花瓣宽度等4个用于识别鸢尾花的属性，
第5列为鸢尾花的类别（包括Setosa，Versicolour，Virginica三类 0,1,2）。也即通过判定花萼长度，花萼宽度，花瓣长度，花瓣宽度的尺寸大小来识别鸢尾花的类别。
这里使用数据集的data、target两个属性进行机器学习的训练

from sklearn.datasets import load_iris

iris = load_iris()
data = iris.data
target= iris.target
print(data)
print(target)

数据集划分、训练样本－测试样本

from sklearn import datasets
from sklearn.model_selection import train_test_split

iris = datasets.load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=2333)

以下代码展示了如何使用sklearn中的高斯朴素贝叶斯算法训练分类器,
得到模型在测试集上的acc是0.97，效果还是很不错的

from sklearn import datasets
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB

iris = datasets.load_iris()
clf = GaussianNB()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=2333)
clf.fit(X_train, y_train)
y_pred = clf.predict(X_test)
print("Acc: %lf" % (clf.score(X_test, y_test)))

Acc: 0.966667

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)
gnb = GaussianNB()
y_pred = gnb.fit(X_train, y_train).predict(X_test)
print("Number of mislabeled points out of a total %d points : %d"% (X_test.shape[0], (y_test != y_pred).sum()))

Number of mislabeled points out of a total 75 points : 4