垃圾邮件分类-朴素贝叶斯算法

目录

一、贝叶斯公式原理

二、使用朴素贝叶斯进行文档分类

三、Python代码实现

---

一、贝叶斯公式原理

        在基础的概率学中，经典的有求独立事件的概率以及求关联时间的概率，贝叶斯所要解决的问题就是在有条件限制的情况下，求取某一事件发生的概率。

        贝叶斯公式的核心是“条件概率”，譬如 P(B|A)，就表示当 A 发生时，B 发生的概率，如果P(B|A)的值越大，说明一旦发生了 A，B 就越可能发生。两者可能存在较高的相关性。

        条件概率是“贝叶斯公式”的关键所在，那么如何理解条件概率呢？其实我们可以从“相关性”这一词语出发。举一个简单的例子，比如小明和小红是同班同学，他们各自准时回家的概率是 P(小明回家) = 1/2 和 P(小红回家) =1/2，但是假如小明和小红是好朋友，每天都会一起回家，那么 P(小红回家|小明回家) = 1 (理想状态下)。

        条件概率公式：

其中， P(B|A)表示：事件 A 发生的条件下，事件 B 发生的概率

            P(A|B)表示：事件 B 发生的条件下，事件 A 发生的概率

朴素贝叶斯基于各特征之间相互独立，在给定类别为y的情况下，上式可以进一步表示为式：

 

上述两式结合：

对所有的类别P（X）相同，因此最终的朴素贝叶斯表达式:

        

二、使用朴素贝叶斯进行文档分类

        机器学习一个重要的应用就是文档的自动分类，我们可以观察文档中出现的词，并把每个词的出现或者不出现作为一个特征，这样得到的特征数目就会跟词汇表中的词目一样多，朴素贝叶斯是文档分类的一个常用算法。

        对于"朴素"一词的含义，举例来说，在英文文档中，"bacon"一词常常出现在delicious附近，而很少出现在unhealthy附近，说起培根，大多数文档会说它美味，而很少会说它不健康。另外，对于此次实验，我们判断一个邮件是不是垃圾邮件，我们只需大致略读它的其中的一部分，看看其中的垃圾词语是否占多数，就可以判断是不是垃圾邮件了。

三、Python代码实现

        基于《机器学习实战》书上附的资源，获取一份包含50封邮件的资料

        

其中ham文件夹下包含25封正常邮件，spam文件夹下有25封垃圾邮件

      加载数据集：

def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #union of the two sets
    return list(vocabSet)

        对数据进行预处理：

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0] * len(vocabList)  # 创建一个其中所含元素都为0的向量
    for word in inputSet:  
        if word in vocabList:  # 如果词条存在于词汇表中，则置1
            returnVec[vocabList.index(word)] = 1
        else:
            print("the word: %s is not in my Vocabulary!" % word)
    return returnVec  # 返回文档向量

        朴素贝叶斯分类器训练函数：

def trainNB0(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)  
    numWords = len(trainMatrix[0])  
    pAbusive = sum(trainCategory) / float(numTrainDocs)  # 文档属于垃圾邮件类的概率
    p0Num = np.ones(numWords)
    p1Num = np.ones(numWords)  # 词条出现数初始为1,拉普拉斯平滑
    p0Denom = 2.0
    p1Denom = 2.0  # 分母初始为2 ,拉普拉斯平滑
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:  # 统计属于侮辱类的条件概率所需的数据
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:  # 统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)···
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = np.log(p1Num / p1Denom)
    p0Vect = np.log(p0Num / p0Denom)  
    return p0Vect, p1Vect, pAbusive  # 返回属于正常邮件类的条件概率数组，属于侮辱垃圾邮件类的条件概率数组，文档属于垃圾邮件类的概率

        朴素贝叶斯分类函数：

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else:
        return 0

        文档词袋模型：

def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

        切分文本：

def textParse(bigString):    
    import re
    listOfTokens = re.split(r'\W*', bigString)
    return [tok.lower() for tok in listOfTokens if len(tok) > 2]

        垃圾邮件分类测试函数：

def spamTest():
    docList = []
    classList = []
    fullText = []
    for i in range(1, 26):
        wordList = textParse(open('D:/email/spam/%d.txt' % i,encoding='ISO-8859-15').read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(1)  # 将垃圾邮件标记为1
        wordList = textParse(open('D:/email/ham/%d.txt' % i,encoding='ISO-8859-15').read())
        docList.append(wordList)
        fullText.extend(wordList)
        classList.append(0)  # 将正常邮件标记为0
    vocabList = createVocabList(docList)
    trainingSet = list(range(50))
    testSet = []
    for i in range(10):
        randIndex = int(random.uniform(0, len(trainingSet)))
        testSet.append(trainingSet[randIndex])
        del (trainingSet[randIndex])
    trainMat = []
    trainClasses = []
    for docIndex in trainingSet:  # 遍历训练集
        trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
        trainClasses.append(classList[docIndex])
    p0V, p1V, pSpam = trainNB0(array(trainMat), array(trainClasses))
 

 
    errorCount = 0
    for docIndex in testSet:  # 遍历测试集
        wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
        if classifyNB(array(wordVector), p0V, p1V, pSpam) != classList[docIndex]:
            errorCount += 1
            print('error classlist:', docList[docIndex])
    print('erro rate:', float(errorCount) / len(testSet))  # 计算错误率
    return float(errorCount) / len(testSet)

测试结果：

        

 

 从十个测试结果中一次有两个预测错误，一次有三个预测错误，其中出现的错误都是将垃圾邮件误判为正常邮件，相比之下，将垃圾邮件误判为正常邮件要比将正常邮件归到垃圾邮件好。总之代码是可行的。

实验总结

        利用朴素贝叶斯来进行垃圾邮件分类的好处就是，朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率，并且算法也比较简单，容易实现，对于小规模的数据效果很不错。但是也有缺点，如果我们使用了样本属性真实情况其实并不是相互独立性的，那么其实这样的分类效果可能不会很好。而且需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候，会由于假设的先验模型的原因导致预测效果不佳。