机器学习 -- 朴素贝叶斯分类器
场景
朴素贝叶斯分类器是一种基于贝叶斯定理的简单概率分类器，广泛应用于各种机器学习场景。朴素贝叶斯分类器利用贝叶斯定理来预测一个数据点的类别。贝叶斯定理提供了一种计算条件概率的方法，即在已知某些信息的情况下，事件发生的概率。“朴素”一词源于该算法对特征之间相互独立的假设。在现实世界中，这种假设可能并不总是成立，但朴素贝叶斯在实践中仍然表现良好。对于给定的训练数据集，算法首先基于类别计算特征的概率分布。然后，使用这些概率来预测新数据点的类别。
适用场景和用途
·文本分类：例如垃圾邮件识别、新闻文章分类。朴素贝叶斯特别适用于处理文本数据，因为它能够处理大量的特征（如单词）。
·情感分析：在社交媒体分析、产品评论等领域中识别正面或负面情感。
·推荐系统：基于用户的兴趣和偏好预测用户可能喜欢的产品或服务。
·医疗诊断：基于症状预测疾病。
·天气预测：例如根据历史天气数据预测下雨概率。
案例
假设我们有两个类别：0 和 1。类别 0 可以代表“负面评论”，类别 1 可以代表“正面评论”。
准备数据集：
# 示例数据集
data = [
"This product is great",
"I am very happy with this purchase",
"Terrible, I hate it",
"Worst experience ever",
"I love this product",
"Not what I expected",
"Highly recommended",
"Very disappointed",
"Will buy it again",
"Do not recommend"
]
# 对应的类别标签
labels = [1, 1, 0, 0, 1, 0, 1, 0, 1, 0]
这里我们通过两种方式，第一种是python提供好的一个API，第二个我们自己根据公式来写一个简单的分类器，比对一下效果。
API
def python_test(data,labels,vectorizer):
# 将数据集转化为向量
X = vectorizer.fit_transform(data)
# 划分数据集和训练集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)
# 创建并训练朴素贝叶斯模型
model = MultinomialNB()
model.fit(X_train, y_train)
return model
if __name__ == '__main__':
vectorizer = CountVectorizer()
data,labels = loadData()
model = python_test(data,labels,vectorizer)
test_data = ["Really happy with this product", "It was a bad purchase"]
test_X = vectorizer.transform(test_data)
predictions = model.predict(test_X)
print(predictions)
结果是[0,1]
在这里我们可以看到是把数据先转成向量，然后划分数据集和训练集，然后训练这些数据，最后给出结果，就其原理，实际上是，将词拆开之后，对每一个词计算概率，然后对给出的这个词，看看它的概率是好评大，还是差评大。我们可以写一下这个过程。
算法
加载数据集
# 加载数据集
def loadDataSet():
postingList = [['you', 'are', 'a', 'pig'],
['you', 'are', 'a', 'smart', 'boy']]
classVec = [1, 0] # 1代表侮辱性文档，0代表非侮辱性文档
return postingList, classVec
这里我们有两个数据集，1代表侮辱性文档，0代表非侮辱性的文档。
创建词汇表
def createVocabList(dataSet):
vocabSet = set([])
for document in dataSet:
vocabSet = vocabSet | set(document)
return list(vocabSet)
这里我们创建了词汇表 将所有的单词都放入这个词汇表中去了
将文档转换为词向量
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0] * len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else:
print("the word: %s is not in my Vocabulary!" % word)
return returnVec
这里很简单，就是拿到这个语句在词汇表中的索引集，非常简单
训练朴素贝叶斯分类器
def trainNB0(trainMatrix, trainCategory):
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory) / float(numTrainDocs)
p0Num = ones(numWords)
p1Num = ones(numWords)
p0Denom = 2.0
p1Denom = 2.0
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = log(p1Num / p1Denom)
p0Vect = log(p0Num / p0Denom)
return p0Vect, p1Vect, pAbusive
这里事实上就是计算 好坏文档的概率，然后再计算 每一个词在好文档，坏文档中出现的概率
对新文档进行分类
传入一个新文档，对文档进行分类。
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify * p1Vec) + log(pClass1)
p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
return 1 if p1 > p0 else 0
其实就是比较概率谁大而已
测试
if __name__ == '__main__':
# 加载数据 postingList是总文档，classVec是类别表示是否是侮辱性文档
postingList, classVec = loadDataSet()
# 简历独立的词汇表
print(postingList)
print(classVec)
list = createVocabList(postingList)
print(list)
trainMatrix= []
for posting in postingList:
trainMatrix.append(setOfWords2Vec(list,posting))
print(trainMatrix)
p0Vect,p1Vect,pAbusive = trainNB0(trainMatrix,classVec)
print(p0Vect)
testEntry = ['FUCK','LOVE']
thisDoc = array(setOfWords2Vec(list, testEntry))
result = classifyNB(thisDoc, p0Vect, p1Vect, pAbusive)
print(result)
结束
朴素贝叶斯分类器基本使用和原理结束