朴素贝叶斯原理

朴素贝叶斯的介绍

朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。

条件概率： 表示事件A在另外一个事件B已经发生条件下的发生概率，P(A|B)

在女神喜欢的条件下，职业是程序员的概率？

1. 女神喜欢条件下，有 2、3、4、7 共 4 个样本
2. 4 个样本中，有程序员 3、4 共 2 个样本
3. 则 P(程序员|喜欢) = 2/4 = 0.5

联合概率： 表示多个条件同时成立的概率，P(AB) = P(A) P(B|A)

职业是程序员并且体型匀称的概率？

1. 职业是程序员有 1、3、4 共 3 个样本，则其概率为：3/7
2. 在职业是程序员，体型是匀称有 3 共 1 个样本，则其概率为：⅓
3. 则即是程序员又体型匀称的概率为：3/7 * ⅓ = 1/7

联合概率 + 条件概率：

在女神喜欢的条件下，职业是程序员、体重超重的概率？ P(AB|C) = P(A|C) P(B|AC)

1. 喜欢的条件下，有 2、3、4、7 共 4 个样本
2. 在这 4 个样本中，职业是程序员有 3、4 共 2 个样本，则其概率为：2/4=0.5
3. 在在 2 个样本中，体型超重的有 4 共 1 个样本，则其概率为：½ = 0.5
4. 则 P(程序员, 超重|喜欢) = 0.5 * 0.5 = 0.25

 

 贝叶斯公式

 

1. P(C) 表示 C 出现的概率
2. P(W|C) 表示 C 条件 W 出现的概率
3. P(W) 表示 W 出现的概率

朴素贝叶斯算法假设所有特征的出现相互独立互不影响，每一特征同等重要，又因为其简单，而且具有很好的可解释性一般。相对于其他精心设计的更复杂的分类算法，朴素贝叶斯分类算法是学习效率和分类效果较好的分类器之一。朴素贝叶斯算法一般应用在文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等。

 莺尾花数据集

import warnings
warnings.filterwarnings('ignore')
import numpy as np
# 加载莺尾花数据集
from sklearn import datasets
# 导入高斯朴素贝叶斯分类器
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split

X, y = datasets.load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

# 使用高斯朴素贝叶斯进行计算
clf = GaussianNB(var_smoothing=1e-8)
clf.fit(X_train, y_train)

# 评估
y_pred = clf.predict(X_test)
acc = np.sum(y_test == y_pred) / X_test.shape[0]
print("Test Acc : %.3f" % acc)

# 预测
y_proba = clf.predict_proba(X_test[:1])
print(clf.predict(X_test[:1]))
print("预计的概率值:", y_proba)

预计的概率值: [[1.63542393e-232 2.18880483e-006 9.99997811e-001]]

 朴素贝叶斯算法

朴素贝叶斯法 = 贝叶斯定理 + 特征条件独立。

index	X1:天气的好坏	X2:是否周末	Y是否出门
1	好	是	出门
2	好	否	出门
3	好	是	不出门
4	好	否	出门
5	不好	是	出门
6	不好	否	不出门

 

a. 当出门的条件下，X_1是天气不好的概率:

p(X1=不好|Y=出门)=p(X1=不好,Y=出门)/p(Y=出门)=1/4

b. 出门的概率

p(Y=出门)=4/6 

c. X_1天气不好的概率

p(X1=不好)=2/6

d. 在X_1天气不好的情况下，出门的概率:

p(Y=出门|X1=不好)=1/2

为了简化联合概率的计算，朴素贝叶斯在贝叶斯基础上增加特征条件独立假设，特征之间是互为独立的。

联合概率的计算即可简化为：

1. P(程序员,超重|喜欢) = P(程序员|喜欢) * P(超重|喜欢)
2. P(程序员,超重) = P(程序员) * P(超重)

拉普拉斯平滑系数 

 由于训练样本的不足，导致概率计算时出现 0 的情况。为了解决这个问题，我们引入了拉普拉斯平滑系数。

 

1. α 是拉普拉斯平滑系数，一般指定为 1
2. Ni 是 F1 中符合条件 C 的样本数量
3. N 是在条件 C 下所有样本的总数
4. m 表示所有独立样本的总数

朴素贝叶斯的优缺点 

朴素贝叶斯算法主要基于经典的贝叶斯公式进行推倒，具有很好的数学原理。而且在数据量很小的时候表现良好，数据量很大的时候也可以进行增量计算。朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。。解决特征之间的相关性，我们还可以使用数据降维(PCA)的方法，去除特征相关性，再进行朴素贝叶斯计算。 

朴素贝叶斯分类器基于特征条件独立假设，即假设各个特征之间相互独立。在垃圾邮件分类中，这个假设通常能够成立，因为邮件中的单词出现与否可以被认为是相互独立的事件。朴素贝叶斯分类器可以计算出给定特征下某个类别的概率，这对于垃圾邮件分类来说非常有用。通过比较垃圾邮件和正常邮件的概率，可以对邮件进行分类。垃圾邮件分类涉及到大量的特征（例如单词），朴素贝叶斯能够很好地处理这种高维数据。