【机器学习实战】python机器学习之贝叶斯分类

前言：现在网络上有很多文章，数据和代码都不全，胖哥对此重新梳理后，把用到的数据和代码全部奉上，如果想直接要数据和代码，请查看文章最后，胖哥对此代码加了详细的注释！！！

一、贝叶斯分类介绍

贝叶斯分类器是一个统计分类器。它们能够预测类别所属的概率，如：一个数据对象属于某个类别的概率。贝叶斯分类器是基于贝叶斯定理而构造出来的。对分类方法进行比较的有关研究结果表明：简单贝叶斯分类器（称为基本贝叶斯分类器）在分类性能上与决策树和神经网络都是可比的。在处理大规模数据库时，贝叶斯分类器已表现出较高的分类准确性和运算性能。基本贝叶斯分类器假设一个指定类别中各属性的取值是相互独立的。这一假设也被称为：类别条件独立，它可以帮助有效减少在构造贝叶斯分类器时所需要进行的计算。

 二、贝叶斯定理
p(A|B) 条件概率 表示在B发生的前提下，A发生的概率；

贝叶斯定理如下：

 基本贝叶斯分类器通常都假设各类别是相互独立的，即各属性的取值是相互独立的。对于特定的类别且其各属性相互独立，就会有：
P(AB|C) = P(A|C)*P(B|C)

贝叶斯决策理论的核心思想，即选择具有最高概率的决策。

优点：
①可以处理小样本情况（样本少，基于频率可以算）
②可以处理多分类问题（）

缺点：
对于输入数据比较敏感（样本少，则对要求会高，样本间是要求独立的）

数据类型：
标称型数据

P(A)称为”先验概率”（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。
P(A|B)称为”后验概率”（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。
P(B|A)/P(B)称为”可能性函数”（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

这就是贝叶斯推断的含义。我们先预估一个”先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了”先验概率”，由此得到更接近事实的”后验概率”。
在这里，如果”可能性函数”P(B|A)/P(B)>1，意味着”先验概率”被增强，事件A的发生的可能性变大；如果”可能性函数”=1，意味着B事件无助于判断事件A的可能性；如果”可能性函数”<1，意味着”先验概率”被削弱，事件A的可能性变小。

三、贝叶斯分类案例
1.分类属性是离散
假设有样本数为6个的训练集数字如下：

现在假设来又来了一个人是症状为咳嗽的教师，那这位教师是患上感冒、发烧、鼻炎的概率分别是多少呢？这个问题可以用贝叶斯分类来解决，最后三个疾病哪个概率高，就把这个咳嗽的教师划为哪个类,实质就是分别求p(感冒|咳嗽*教师)和P(发烧 | 咳嗽 * 教师)
P(鼻炎 | 咳嗽 * 教师) 的概率；

假设各个类别相互独立：

 P(感冒)=3/6    P(发烧)=1/6     P(鼻炎)=2/6
 p(咳嗽) = 3/6   P(教师）= 2/6
 p(咳嗽 | 感冒) = 2/3   P(教师 | 感冒) = 1/3

故

按以上方法可分别求  P(发烧 | 咳嗽 × 教师) 和P(鼻炎 |咳嗽 × 教师 )的概率；

2.分类属性连续
如果按上面的样本上加一个年龄的属性；因为年龄是连续，不能采用离散变量的方法计算概率。而且由于样本太少，所以也无法分成区间计算；这时，可以假设感冒、发烧、鼻炎分类的年龄都是正态分布，通过样本计算出均值和方差，也就是得到正态分布的密度函数；

下面就以求P(年龄=15|感冒)下的概率为例说明：
   第一：求在感冒类下的年龄平均值  u=(15+48+12)/3=25
   第二：求在感冒类下年龄的方差 代入下面公司可求：方差=266

第三：把年龄=15 代入正太分布公式如下：参数代进去既可以求的P(age=15|感冒)的概率

其他属性按离散方法可求；

四、概率值为0处理
假设有这种情况出现，在训练集上感冒的元祖有10个，有0个是孩子，有6个是学生，有4个教师；当分别求
      P(孩子|感冒) =0； P(学生|感冒)=6/10 ； P(教师|感冒)=4/10  ;出现了概率为0的现象，为了避免这个现象，在假设训练元祖数量大量的前提下，可以使用拉普拉斯估计法，把每个类型加1这样可求的分别概率是
      P(孩子|感冒) = 1/13  ； P(学生|感冒) = 7/13   ; P(教师|感冒)=4/13

五、垃圾邮件贝叶斯分类案例
1.准备训练集数据
假设postingList为一个六个邮件内容,classVec=[0,1,0,1,0,1]为邮件类型，设1位垃圾邮件

2.根据所有的邮件内容创建一个所有单词集合

3.根据第2步所有不重复的单词集合对每个邮件内容向量化 

4.训练模型，此时就是分别求p(垃圾|文档) = p(垃圾)*p（文档|垃圾）/p(文档)

5.定义分类方法

6.以上分类完成，下面就对其进行测试，测试方法如下：

需要完整Python代码的朋友们，请关注如下微信公众号，回复"朴素贝叶斯分类"，即可获取完整内容；

添加胖哥微信：zy10178083，回复"入群"，胖哥拉你进去python学习交流群，胖哥会不定期分享干货！

微信公众号：胖哥真不错。