机器学习实践-使用Python言论过滤（代码解析）
机器学习实践-使用Python言论过滤（代码解析）
#-*- Coding:utf-8 -*-
# Author:LHF Time:2019/9/25
from numpy import *
#词表到向量的转换函数
def loadDataSet(): #用于训练的词表
postingList = [['my','dog','has','flea','problems','help','please'],
['maybe','not','take','him','to','dog','park','stupid'],
['my','dalmation','is','so','cute','I','love','him'],
['stop','posting','stupid','worthless','garbage'],
['mr','licks','ate','my','steak','how','to','stop','him'],
['quit','buying','worthless','dog','food','stupid']]
classVec = [0,1,0,1,0,1] #1.代表侮辱性文字，0，代表正常言论 因为2，4，6行中包含stupid，所以他们是含有侮辱词汇的列表
return postingList,classVec#返回词表，和他们各自的标签
"""这个函数是将词表中的元素转变成集合，既没有重复元素"""
def creatVocabList(dataSet):#将词表导入函数
vocabSet = set([])#创建一个空集
for document in dataSet:#将词表中的每一行取出
vocabSet = vocabSet | set(document) #操作符| 用于求两个集合的并集，利用for循环找出最终的集合
return list(vocabSet)#返回集合
"""将经过处理的词表转换成向量"""
def setOfWords2Vec(vocabList,inputSet):
returnVec = [0]*len(vocabList)#创建一个和词汇表等长的0列表
for word in inputSet:#在待检测的列表中，分别监测每个元素
if word in vocabList:
returnVec[vocabList.index(word)] = 1#如果待检测的单词在词汇表中，则将这个单词的索引设置为1
else:
print("the word: %s is not in my Vocabulary" % word)
return returnVec
"""朴素贝叶斯分类器训练函数"""
def trainNB0(trainMatrix,trainCategory):#将转化得到的向量矩阵和对应标签传入函数
numTrainDocs = len(trainMatrix)#计算向量矩阵的行数
numWords = len(trainMatrix[0])#计算向量矩阵的列数
pAbusive = sum(trainCategory)/float(numTrainDocs)#将trainCategory中的1相加，既属于侮辱性言论的列表/总列表数
p0Num = ones(numWords);p1Num = ones(numWords)#创建两个列表，p0Num用来装
p0Denom = 2.0;p1Denom = 2.0
for i in range(numTrainDocs):#这个循环是重点
if trainCategory[i] == 1:#如果这行向量的标签为1
p1Num += trainMatrix[i]#则将这行向量加到存储侮辱性言论的列表中
p1Denom += sum(trainMatrix[i])#总的为1的数加起来 目的是在创建的侮辱性列表（p1Num ）中，求的每个出现词语的比例
else:
p0Num += trainMatrix[i]#则将这行向量加到存储非侮辱性言论的列表中
p0Denom += sum(trainMatrix[i])#总的为1的数加起来 目的是在创建的非侮辱性列表（p0Num ）中，求的每个出现词语的比例
p1Vect = log(p1Num/p1Denom) #在侮辱性列表中，每个词语占总词语个数的比例
p0Vect = log(p0Num/p0Denom)
return p0Vect,p1Vect,pAbusive
#朴素贝叶斯分类函数
def classifyNB(vec2Classify,p0Vec,p1vec,pClass1):
p1 = sum(vec2Classify*p1vec)+log(pClass1)#因为是log，所以直接加，每log的话是连乘，（回顾朴素贝叶斯公式）
p0 = sum(vec2Classify*p0Vec)+log(1 - pClass1)
if p1 > p0:
return ("侮辱性列表")
else:
return ("非侮辱性列表")
def testingNB():
listOposts,listClasses = loadDataSet() #获得数据和标签
myVocabList = creatVocabList(listOposts) #将数据装在集合中（无重复）
trainMat = []
for postinDoc in listOposts:
trainMat.append(setOfWords2Vec(myVocabList,postinDoc))#将词表转换成向量，并将每行的向量添加，形成矩阵
p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))#朴素贝叶斯分类器训练函数
testEntry = ['love','my','dalmation']
thisDoc = array(setOfWords2Vec(myVocabList,testEntry)) #将待测数据词表转换成向量
print(testEntry,'classified as : ',classifyNB(thisDoc,p0V,p1V,pAb))
testEntry = ['stupid','garbage',"my","dog","me"]
thisDoc = setOfWords2Vec(myVocabList, testEntry) # 将待测数据词表转换成向量
print(testEntry, 'classified as : ', classifyNB(thisDoc, p0V, p1V, pAb))
if __name__ == '__main__':
testingNB()
运行结果
['love', 'my', 'dalmation'] classified as : 非侮辱性列表
the word: me is not in my Vocabulary
['stupid', 'garbage', 'my', 'dog', 'me'] classified as : 侮辱性列表
注意：
1.p0Num = ones(numWords);p1Num = ones(numWords)
和
2.p1Vect = log(p1Num/p1Denom)
p0Vect = log(p0Num/p0Denom)
是根据朴素贝叶斯的公式得。
1.因为条件概率不能是0.
2.用log更精确，因为概率太小可能会显示0，但用log就可以精确显示。而且用log不会影响数字比较的大小
如果还有不懂就认真体会公式在程序总如何体现的。具体是 trainNB0() 函数.谢谢