机器学习-----朴素贝叶斯

目录
一基本概念
1 简介
2 朴素贝叶斯的优缺点
2 先验概率和后验概率
3 条件概率与全概率公式
4 贝叶斯推断
二贝叶斯分类器的简单应用
1 数据说明
2 进行分类
三朴素贝叶斯过滤垃圾邮件
1 流程说明
2 构建词向量
3 词向量计算概率
4 朴素贝叶斯分类函数
5 使用朴素贝叶斯进行交叉验证
四总结

一、基本概念

1.简介

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。

2.贝叶斯的优缺点

朴素贝叶斯的主要优点有：

1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

3）对缺失数据不太敏感，算法也比较简单，常用于文本分类。

朴素贝叶斯的主要缺点有：

1）理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

4）对输入数据的表达形式很敏感。

3.先验概率和后验概率

P(cj)代表还没有训练模型之前，根据历史数据/经验估算cj 拥有的初始概率。P(cj)常被称为cj的先验概率(prior probability) ，它反映了cj的概率分布，该分布独立于样本。

通常可以用样例中属于cj的样例数|cj|比上总样例数|D|来

近似，即：

4.条件概率与全概率公式

已知两个独立事件A和B，事件B发生的前提下，事件A发生的概率可

以表示为P(A|B)，即上图中橙色部分占红色部分的比例，即：

5. 贝叶斯推断

根据条件概率和全概率公式，可以得到贝叶斯公式如下：

P(A) 称为先验概率（prior probability），即在B事件发生之前，我们对A事件概率的一个判断；
P ( A ∣ B ) 称为后验概率（posterior probability），即在B事件发生之后，我们对A事件概率的重新评估；
P ( B ∣ A ) /P(B) 称为可能性函数（Likely hood），这是一个调整因子，使得预估概率更接近真实概率。

所以条件概率可以理解为：后验概率 = 先验概率 × 调整因子
如果"可能性函数">1，意味着"先验概率"被增强，事件A的发生的可能性变大；
如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；
如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。

二、贝叶斯分类器的简单应用

朴素贝叶斯分类器的训练器的训练过程就是基于训练集D估计类

先验概率P(c)，并为每个属性估计条件概率 P(Xi|c) 。

令Dc表示训练集D中第c类样本组合的集合，则类先验概率：

1 数据说明

下表收集了15天内某网球爱好者每天是否打网球的数据，其中从左往右每列的属性分别为：天数、天气情况、温度、湿度、风力、当天是否打网球。

2 进行分类

现在假设有一个样例 x = {Sunny, Hot, High, Weak}，那该种情况下应该去打网球还是不去呢，如何对其进行分类呢？
首先分别统计对15天中去打排球和没去打排球的天数以及各自情况下不同属性分类的的个数，如下图：

此时，根据贝叶斯公式，分别求解去打网球和不去打网球的概率，求解公式如下：

其中，x={Sunny, Hot, High, Weak}，由于分母相同，因此只需计算分子的结果来进行比较即可，计算结果如下图所示：

三、朴素贝叶斯过滤垃圾邮件

1.流程说明:

1. 数据准备：收集数据与读取

2. 数据预处理：处理数据

3. 训练集与测试集：将先验数据按一定比例进行拆分。

4. 提取数据特征，将文本解析为词向量。

5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量。

6. 测试模型：用测试数据集评估模型预测的正确率。

混淆矩阵

准确率、精确率、召回率、F值

7. 预测一封新邮件的类别。

2、构建向量

我们把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现在所有文档中的所有单词，再决定将哪些词纳入词汇表或者说所要的词汇集合，然后必须要将每一篇文档转换为词汇表上的向量。

代码：

# 创建实验样本
def loadDataSet():
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0, 1, 0, 1, 0, 1]
    return postingList,classVec
"""
函数说明：将实验样本中的词条进行合并（剔除重复项）
Parameters:
    dataset：样本数据集列表
Rerurns：
    vocabSet：包含所有文档中出现的不重复词的列表
"""
def createVocabList(dataset):
    vocabSet = set([])
    for document in dataset:
        # 取并集
        vocabSet = vocabSet | set(document)
    return list(vocabSet)
"""
函数说明：将样本列表（inputSet）向量化（0或1）
Parameters:
    vocabList：词集列表（createVocabList（）函数返回后的列表）
    inputSet：待向量化的词条列表
Rerurns：
    returnVec：inputSet列表向量化后映射到vocabList中的列表
"""
# 将数据集转为词向量(创建一个包含在所有文档中出现的不重复的词集)
def setOfWords2Vec(vocabList, inputSet):
    # 创建一个其中所含元素都为0的列表
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print('the word: %s is not in my Vocabulary!' % word)
    return returnVec
if __name__ == '__main__':
    postingList, classVec = loadDataSet()
    myVocabList = createVocabList(postingList)
    print('myVocabList:\n', myVocabList)
    print(setOfWords2Vec(myVocabList, postingList[0]))

截图：

3 、词向量计算概率

记w表示一个向量（可理解为经过向量化后的一封邮件），它由多个数值组成。在该例中数值个数与词汇表中的词条个数相同，则贝叶斯公式可表示为：

源代码：

"""
函数说明：朴素贝叶斯分类器训练函数
Parameter：
    trainMatrix — 训练文档矩阵，即setOfWord2Vec函数返回的returnVec构成的矩阵
    trainCategory - 训练类别标签向量，即loadDataSet返回的classVec
Returns:
    p0Vect - 非侮辱类的条件概率数组
    p1Vect - 侮辱类的条件概率数组
    pAbusive - 文档属于侮辱类的概率
"""
def trainNBO(trainMatrix,trainCategory):
    #文档数目（6）
    numTrainDocs = len(trainMatrix) 
    #词数
    numWords = len(trainMatrix[0])
    ##初始化概率     
    pAbusive = sum(trainCategory) / float(numTrainDocs)
    #使用zeros()初始化后的数组如果其中一个概率值为0则最后的结果也为0，因此使用ones() 
    # numpy中的ndarray对象用于存放同类型元素的多维数组。
    p0Num = np.ones(numWords)
    p1Num = np.ones(numWords)
    p0Denom = 2.0
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            #向量相加
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])  
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    # 分别计算某个词条在某个类别（该类别中所有词条的总数）中的占比  
    # #避免程序输出下溢，采用自然对数处理
    p1Vect = np.log(p1Num/p1Denom)
    p0Vect = np.log(p0Num/p0Denom)
    return p0Vect,p1Vect,pAbusive
if __name__ == '__main__':
    postingList, classVec = loadDataSet()
    myVocabList = createVocabList(postingList)
    trainMat = []
    for postinDoc in postingList:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0Vect, p1Vect, pAbusive = trainNBO(trainMat, classVec)
    print('p0Vect:\n', p0Vect)
    print('p1Vect:\n', p1Vect)
    print('文档属于侮辱性文档的概率:', pAbusive)

4.朴素贝叶斯函数

源代码:

# -*- coding: UTF-8 -*-
 
"""
函数说明:创建实验样本
Parameters:
    无
Returns:
    postingList - 实验样本切分的词条
    classVec - 类别标签向量
"""
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                #切分的词条
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]                                                                   #类别标签向量，1代表侮辱性词汇，0代表不是
    return postingList,classVec
 
if __name__ == '__main__':
    postingLIst, classVec = loadDataSet()
    for each in postingLIst:
        print(each)
    print(classVec)

运行截图:

5、使用朴素贝叶斯进行交叉验证