分类-朴素贝叶斯（高斯、多项式、伯努利）

简介

---

贝叶斯分类器主要思想是基于贝叶斯定理，是机器学习中重要的分类算法，适用于高维度的大数据集，速度快，准确率高，一个经典的应用场景是识别垃圾邮件。

首先需要知道一些概率论的知识：

1. 先验概率
   根据经验和分析得到的概率。
2. 条件概率
   事件B发生的前提下，事件A发生的概率。
3. 后验概率
   结果发生之后，推测原因的概率。

比如箱子里有4个小球，3个蓝色1个红色，且分别标有数字0和1：

那么我们很容易知道先验概率：
P(红)=$\frac{1}{4}$，P(蓝)=$\frac{3}{4}$
P(0)=$\frac{1}{2}$，P(1)=$\frac{1}{2}$

相应的条件概率：
P(1|蓝)=$\frac{2}{3}$，P(0|蓝)=$\frac{1}{3}$
P(1|红)=$0$，P(0|红)=$1$
比如P(1|蓝)表示抽中蓝色球的前提下，数字是1的概率。也就是3个蓝球中有两个为1。

往往困难的是后验概率的计算，比如知道结果是数字0，那导致结果（数字0）的条件（颜色）概率怎么计算？即P(蓝|0)和P(红|0)。

虽然这个例子的后验概率也能一眼看出，那假设不知道，又如何通过先验概率和条件概率进行求解呢？这就是贝叶斯定理解决的问题。

贝叶斯公式如下：
$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$

带入公式：
$$P(蓝|0)=\frac{P(蓝)P(0|蓝)}{P(0)}=\frac{\frac{3}{4}\cdot \frac{1}{3}}{\frac{1}{2}}=\frac{1}{2}$$
$$P(红|0)=\frac{P(红)P(0|红)}{P(0)}=\frac{\frac{1}{4}\cdot 1}{\frac{1}{2}}=\frac{1}{2}$$

对应验证图中两个数字0的球中，1个蓝色，1个红色。

贝叶斯模型

---

设特征向量$\mathbf{X}$有$n$个属性，即$\mathbf{X}=\{x_1,x_2,\dots ,x_n\}$，标签$Y$有$K$个类，记为$\{C_1,C_2,\dots ,C_K\}$，在训练样本中用极大似然法统计频率，从而学习到先验分布$P(Y=C_k),(k=1,2,...,K)$，同样也可以学习到条件分布$P(\mathbf{X}=\mathbf{x}|Y=C_k)=P(X_1=x_1,X_2=x_2,\dots ,X_n=x_n|Y=C_k)$。

对于新的测试数据$\mathbf{x}$，利用贝叶斯公式，就可求得属于第$k$个类别$C_k$的概率：
$$P(Y=C_k|\mathbf{X}=\mathbf{x})=\frac{P(Y=C_k)P(\mathbf{X}=\mathbf{x}|Y=C_k)}{P(\mathbf{X}=\mathbf{x})}$$

最后比较属于各个类别的概率$P(Y=C_k|\mathbf{X}=\mathbf{x}),(k=1,2,\dots ,K)$，将概率最大的作为预测类别。

朴素贝叶斯

---

但是上述模型中存在一个头疼的问题：$P(X_1=x_1,X_2=x_2,\dots ,X_n=x_n|Y=C_k)$很难求出，比如有50个特征，每个特征只有2个属性，那么特征排列组合得到的计算量都有$2^{50}$这么大。

为此朴素贝叶斯（naive bayes）采用了“属性条件独立性假设”，也就是考虑特征属性的取值互不干扰，是独立的。如果X和Y是相互独立的，那么由条件独立公式：$P(X,Y)=P(X)P(Y)$，得到朴素贝叶斯模型：
$$P(Y=C_k|\mathbf{X}=\mathbf{x})=\frac{P(Y=C_k)}{P(\mathbf{X}=\mathbf{x})}\prod _{i=1}^{n}P(X_i=x_i|Y=C_k)$$

对于一个测试数据$\mathbf{x}$，计算它在不同类别的概率，由于最后只需要比较大小，取概率最大的类，所以简化掉相同分母，得到表达式：
$$\underset{C_k\in C}{\max }P(Y=C_k)\prod P(X_i=x_i|Y=C_k)$$

最后，在计算先验概率时，需要考虑不同的分布假设，比如离散值和连续值的参数求解是不一样的。包括高斯朴素贝叶斯、多项式朴素贝叶斯和伯努利朴素贝叶斯三种。

高斯朴素贝叶斯

---

高斯朴素贝叶斯的特征变量是连续型变量，样本符合高斯分布或正态分布。如人的身高。

使用正态分布的概率密度函数来算概率：
$$P(x_i|y)=\frac{1}{\sqrt{2\pi {\sigma }_y^2}}exp(-\frac{(x_i-{\mu }_y{)}^2}{2{\sigma }_y^2})$$
${\mu }_y$表示类别为$y$的样本中，特征$x_i$的均值；
${\sigma }_y$表示类别为$y$的样本中，特征$x_i$的标准差；

使用sklearn库中GaussianNB()创建高斯朴素贝叶斯模型：

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from matplotlib.colors import ListedColormap
from sklearn.datasets import make_blobs
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import classification_report
import seaborn as sns

def plot_boundary(model, axis):  # 画边界
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1] - axis[0]) * 100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3] - axis[2]) * 100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)
    custom_cmap = ListedColormap(['#A1FFA1', '#FFE9C5', '#FFB3E2', '#C6C6C6'])
    plt.contourf(x0, x1, zz, cmap=custom_cmap)


# 创建数据：400个样本，2个特征，4个类别，方差3
X, y = make_blobs(400, 2, centers=4, cluster_std=3, center_box=(10, 30), random_state=20221026)
x_train, x_test, y_train, y_test = train_test_split(X, y)  # 划分训练集测试集
gnb = GaussianNB()  # 高斯朴素贝叶斯
gnb.fit(x_train, y_train)  # 训练
y_pred = gnb.predict(x_test)  # 测试
# 结果和相关参数
print('先验概率：', gnb.class_prior_)
print('标签：', gnb.classes_)
print('均值：', gnb.theta_)
print('方差：', gnb.sigma_)
print('预测概率：', gnb.predict_proba(x_test))
# 评估
print(classification_report(y_test, y_pred))
# 可视化
plot_boundary(gnb, axis=[4, 31, 4, 36])  # 边界
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='Accent')  # 数据点
#cm = pd.crosstab(y_pred, y_test)  # 混淆矩阵
#sns.heatmap(data=cm, annot=True, cmap='GnBu', fmt='d')
#plt.xlabel('Real')
#plt.ylabel('Predict')
plt.show()

多项式朴素贝叶斯

---

多项式朴素贝叶斯的特征变量是离散型变量，样本符合多项分布。如掷色子。

特征值不能是负数。
$$P(x_i|y)=\frac{N_{y_i}+\alpha }{N_y+\alpha n}$$
$\alpha$表示平滑系数；
$N_y$表示属于类别$y$所有的样本数；
$N_{y_i}$表示第$i$个特征中，属于类别$y$的样本数；
$n$表示特征数量。

（插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/

使用sklearn库中MultinomialNB()创建多项式朴素贝叶斯模型：

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from matplotlib.colors import ListedColormap
from sklearn.datasets import make_blobs
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
import seaborn as sns

def plot_boundary(model, axis):  # 画边界
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1] - axis[0]) * 100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3] - axis[2]) * 100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)
    custom_cmap = ListedColormap(['#A1FFA1', '#FFE9C5', '#FFB3E2', '#C6C6C6'])
    plt.contourf(x0, x1, zz, cmap=custom_cmap)


# 创建数据：400个样本，2个特征，4个类别，方差3
X, y = make_blobs(400, 2, centers=4, cluster_std=3, center_box=(10, 30), random_state=20221026)
x_train, x_test, y_train, y_test = train_test_split(X, y)  # 划分训练集测试集
mnb = MultinomialNB()  # 多项式朴素贝叶斯
mnb.fit(x_train, y_train)  # 训练
y_pred = mnb.predict(x_test)  # 测试
# 结果和相关参数
print('标签：', mnb.classes_)
print('预测概率：', mnb.predict_proba(x_test))
# 评估
print(classification_report(y_test, y_pred))
# 可视化
plot_boundary(mnb, axis=[4, 31, 4, 36])  # 边界
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='Accent')  # 数据点
#cm = pd.crosstab(y_pred, y_test)  # 混淆矩阵
#sns.heatmap(data=cm, annot=True, cmap='GnBu', fmt='d')
#plt.xlabel('Real')
#plt.ylabel('Predict')
plt.show()

伯努利朴素贝叶斯

---

伯努利朴素贝叶斯的特征变量是布尔型变量，样本符合二项分布或0-1分布。如抛硬币、特征词是否在文本中出现。

特征值只有两个结果0和1，如果不是的话，需要进行二值化处理。
$$\begin{gathered} P(x_i=1|y)=\frac{N_{y_i}+\alpha }{N_y+2\alpha } \\ P(x_i=0|y)=1-P(x_i=1|y) \end{gathered}$$
$\alpha$表示平滑系数；
$N_y$表示属于类别$y$所有的样本数；
$N_{y_i}$表示第$i$个特征中，属于类别$y$的样本数。

使用sklearn库中BernoulliNB()创建伯努利朴素贝叶斯模型。
由于特征属性要二值化处理，前面的数据不利于展示其特长，以文本分类为例介绍（涉及TF-IDF算法可参考我这篇博客）

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import BernoulliNB
from sklearn.metrics import classification_report
import seaborn as sns
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer

news = fetch_20newsgroups()  # 读数据
x_train, x_test, y_train, y_test = train_test_split(news.data, news.target,)  # 划分训练集测试集
transfer = TfidfVectorizer()  # TF-IDF抽取文本特征
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
print("抽取特征：\n", transfer.get_feature_names_out())
bnb = BernoulliNB()  # 伯努利朴素贝叶斯
bnb.fit(x_train, y_train)  # 训练
y_pred = bnb.predict(x_test)  # 测试
# 结果和相关参数
print('标签：', bnb.classes_)
print('预测概率：', bnb.predict_proba(x_test))
# 评估
print(classification_report(y_test, y_pred))
# 可视化
cm = pd.crosstab(y_pred, y_test)  # 混淆矩阵
sns.heatmap(data=cm, annot=True, cmap='GnBu', fmt='d')
plt.xlabel('Real')
plt.ylabel('Predict')
plt.title('Bernoulli Naive Bayes')
plt.show()

也可以用多项式朴素贝叶斯，都是离散值。

小结

---

高斯NB用于连续值；多项式NB用于离散的多值；伯努利NB用于离散的二值。

贝叶斯分类器先对联合概率P(X|Y)建模，然后再由此得到P(Y|X)，属于「生成式模型」。而通过训练属性X直接建模P(Y|X)的模型成为「判别式模型」，如支持向量机、决策树、感知机等都是判别式模型。

本文介绍了贝叶斯分类器中最常用的朴素贝叶斯，更多的，还有半朴素贝叶斯、贝叶斯网等，感兴趣可深究。

原创不易，请勿转载（本不富裕的访问量雪上加霜 ）
博主首页：https://wzlodq.blog.csdn.net/
来都来了，不评论两句吗
如果文章对你有帮助，记得一键三连❤