朴素贝叶斯算法文本分类应用
朴素贝叶斯的中心思想，在于利用各类别在训练样本中的分布以及类别中各特征元素的分布，计算后验概率，使用极大似然法判断测试样本所属。出于该原理，使用该算法实现文本分类的局限性较多，例如训练集中各类样本的比例不能相差过大，比例较大的样本类别会获得更高的划分可能性；其次，该算法假设词与词之间相互独立，共享权重，忽视了词与词之间的关联性，面临共指消解 (同一实体不同表述) 的问题，因此只能用于诸如垃圾邮件识别的简单分类。
以下代码来自郑捷所著《NLP汉语自然语言处理，原理与实践》：
import numpy as np
class NaiveBayes(object):
'''
算法原理:
- 训练
i.借用TF-IDF中TF的概念生成词频矩阵TF
ii.计算各个分类的边缘概率P(yi)
iii.计算各个分类的后验词频分布P(x|yi)
- 预测
i.计算测试词频TF
ii.对每个分类计算TF*P(x|yi)*P(yi),以最大项作为预测类别
'''
def __init__(self):
self.train = [] #训练集
self.label = [] #训练集标签
self.vocab = [] #词集
self.tf = None #TF矩阵(row:训练集数量 col:词集词频)
self.idf = None #IDF向量(词集长度)
self.prob = {} #P(yi)
self.con_prob = None #P(x|yi) (row:类别 col:词集词频)
def fit(self,train,label):
'''导入训练集，生成算法参数'''
assert isinstance(train,list)
assert isinstance(label,list)
assert len(train) == len(label)
self.train += train
self.label += label
vocab = set()
[vocab.add(word) for text in train for word in text]; #将词语导入词集
self.vocab = list(vocab)
self.cal_prob() #计算分类的边缘概率P(yi)
self.cal_tfidf() #计算TF-IDF
self.cal_con_prob() #计算后验概率分布：P(x|yi)
def cal_prob(self):
'''针对每个分类计算P(yi)'''
for y in set(self.label):
self.prob[y] = float(self.label.count(y)/len(self.label)) #计算每个分类在数据集中的概率：P(yi)
def cal_tfidf(self):
'''生成TF矩阵和IDF向量'''
self.tf = np.zeros((len(self.train),len(self.vocab)))
self.idf = np.zeros(len(self.vocab))
for idx in range(len(self.train)):
for word in self.train[idx]:
self.tf[idx,self.vocab.index(word)] += 1
self.tf[idx] = self.tf[idx]/len(train[idx]) #消除不同句长导致的偏差
for word in set(self.train[idx]):
self.idf[self.vocab.index(word)] += 1
self.idf = np.log(len(self.train)/self.idf)
def cal_con_prob(self):
'''计算后验概率分布：P(x|yi)'''
self.con_prob = np.zeros((len(self.prob),len(self.vocab)))
con_sum = np.zeros((len(self.prob),1)) #统计每个分类的总值
for idx in range(len(self.train)):
self.con_prob[self.label[idx]] += self.tf[idx] #将同一类别的TF矩阵按列加总
for y in self.prob.keys():
con_sum[y] = np.sum(self.con_prob[y]) #统计每个分类的概率分布总值
self.con_prob = self.con_prob/con_sum #归一化生成P(x|yi)
def predict(self,test):
'''针对每个分类计算TF*P(x|yi)*P(yi)，输出最大值所在分类作为预测分类'''
assert isinstance(test,list)
assert isinstance(test[0],str)
if len(set(test)-set(self.vocab)) > 0: #如果测试集包含词集里没有的词，则退出程序
raise ValueError('测试集中包含训练集中未出现过的词，请重新输入')
test_tf = np.zeros([1,len(self.vocab)])
for word in test:
test_tf[0,self.vocab.index(word)] += 1 #生成测试集TF矩阵
test_tf /= len(self.vocab)
pred_prob = []
for y in self.prob.keys():
pred_prob += [np.sum(test_tf * self.con_prob[y] * self.prob[y])] #计算计算TF*P(x|yi)*P(yi)
return np.argmax(pred_prob)
if __name__ == '__main__':
train = [['我们','常常','仰望','和','羡慕','别人','的','幸福'],
['一','回头','却','发现','自己','也','正','被','仰望','和','羡慕','着'],
['其实','每个','人','都','是','幸福','的'],
['只是','你','的','幸福','常常','在','别人','眼里']]
label = [0,1,2,1]
test = train[0]
model = NaiveBayes()
model.fit(train,label) #模型训练
pred = model.predict(test) #模型预测
print('Prediction result: %s'%pred)