本笔记为参加阿里云“天池龙珠计划 机器学习训练营”所做的学习记录,代码及知识内容均来源于训练营,本人稍作扩充。
具体活动内容请移步阿里云天池龙珠计划; 同时感谢公众号“机器学习炼丹术”的介绍、推广和组织。
模拟离散数据集--贝叶斯分类
Step1: 库函数导入 + Step2: 数据导入&分析 + Step3: 模型训练&可视化 + Step4: 原理简析
import random
import numpy as np
# 使用基于类目特征的朴素贝叶斯
from sklearn.naive_bayes import CategoricalNB
from sklearn.model_selection import train_test_split
Step2: 数据导入&分析
# 模拟数据
rng = np.random.RandomState(1)
# 随机生成600个100维的数据,每一维的特征都是[0, 4]之前的整数
X = rng.randint(5, size=(600, 100))
y = np.array([1, 2, 3, 4, 5, 6] * 100)
data = np.c_[X, y]
# X和y进行整体打散
random.shuffle(data)
X = data[:,:-1]
y = data[:, -1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
所有的数据特征都是离散特征,我们引入基于离散特征的朴素贝叶斯分类器。
Step3: 模型训练&预测
clf = CategoricalNB(alpha=1)
clf.fit(X_train, y_train)
acc = clf.score(X_test, y_test)
print("Test Acc : %.3f" % acc)
# Output:
# Test Acc : 0.633
# 随机数据测试,分析预测结果,贝叶斯会选择概率最大的预测结果
# 比如这里的预测结果是6,6对应的概率最大,由于我们是随机数据
# 读者运行的时候,可能会出现不一样的结果。
x = rng.randint(5, size=(1, 100))
print(clf.predict_proba(x))
print(clf.predict(x))
# Output:
# [[0.01365523 0.01227424 0.18555745 0.34259751 0.42150813 0.02440744]]
# [5]
Step4: 原理简析
4.1 结果分析
可以看到测试的数据的结果,贝叶斯会选择概率最大的预测结果,比如这里的预测结果是5,5对应的概率最大,由于我们是随机数据,读者运行的时候,可能会出现不一样的结果。
这里的测试数据的准确率没有任何意义,因为数据是随机生成的,不一定具有贝叶斯先验性,这里只是作为一个列子引导大家如何使用。
alpha=1这个参数表示什么?
我们知道贝叶斯法一定要计算两个概率:条件概率: (()=()|=) 和类目 的先验概率: (=) 。
对于离散特征:我们可以看出就是对每一个变量的多加了一个频数alpha。当alphaλ=0时,就是极大似然估计
。通常取值alpha=1,这就是拉普拉斯平滑(Laplace smoothing)
,这又叫做贝叶斯估计
,主要是因为如果使用极大似然估计,如果某个特征值在训练数据中没有出现,这时候会出现概率为0的情况,导致整个估计都为0,因为引入贝叶斯估计。
其中:
:表示第j个特征的个数。
:表示第i个样本的第j维元素。
:第i个样本的label。
4.2 朴素贝叶斯算法
朴素贝叶斯法 = 贝叶斯定理 + 特征条件独立。
输入 ∈ 空间是n维向量集合,输出空间 ={1,2,...,} . 所有的X和y都是对应空间上的随机变量. (,) 是X和Y的联合概率分别.训练数据集(由 (,) 独立同分布产生):
={(1,1),(2,2),...,(,)}
计算测试数据x的列表,我们需要依次计算 (=|=) ,取概率最大的值,就是x对应的分类。
(=|=) 我们一般这样解释,当给定 (=) 的条件下, = 的概率,这就是条件概率. 这就简单了,我们只需要每个的x,计算其对应的 ,∈[1,2,...,] 的概率,选择最大的概率作为这个x的类别进行了.
通过贝叶斯公式进行变形,得到预测的概率计算公式:
我们只需要计算以下两个概率即可,又由于朴素贝叶斯假设条件独立,我们可以单独计算每个特征的条件概率: (()=()|=) 和类目 的先验概率: (=) 。为了更好的理解这个公式,看下图解释:
其中:
当涉及到多个条件时,朴素贝叶斯有一个提前的假设,我们称之为 条件独立性假设(或者 简单假设:Naive):公式如下
(,|) = (|)⋅(|)
这个公式是朴素贝叶斯的基础假设,即各个条件概率是相互独立的,A不影响B,B不影响A。 而对这里来说,假设 =[1,2,...,]
由此原式可以等价为:
我们来看一个实例,更好的理解贝叶斯的计算过程,根据天气和是否是周末预测一个人是否会出门。
4.3 朴素贝叶斯的优缺点
优点: 朴素贝叶斯算法主要基于经典的贝叶斯公式进行推导,具有很好的数学原理。而且在数据量很小的时候表现良好,数据量很大的时候也可以进行增量计算。由于朴素贝叶斯使用先验概率估计后验概率,具有很好的模型的可解释性。
缺点: 朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。但是实际上并非总是如此,这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进,例如为了计算量不至于太大,我们假定每个属性只依赖另外的一个。解决特征之间的相关性,我们还可以使用数据降维(PCA)的方法,去除特征相关性,再进行朴素贝叶斯计算。
参考资料:
B站@up主-风巽- 的 朴素贝叶斯----模型原理