python数据挖掘课程】二十一.朴素贝叶斯分类器详解及中文文本舆情分析

#2018-04-06 13:52:30 April Friday the 14 week, the 096 day SZ SSMR
python数据挖掘课程】二十一.朴素贝叶斯分类器详解及中文文本舆情分析 
1.朴素贝叶斯数学原理知识
    2.naive_bayes用法及简单案例
    3.中文文本数据集预处理
    4.朴素贝叶斯中文文本舆情分析
朴素贝叶斯（Naive Bayesian）是基于贝叶斯定理和特征条件独立假设的分类方法，它通过特征计算分类的概率
，选取概率大的情况，是基于概率论的一种机器学习分类（监督学习）方法，被广泛应用于情感分类领域的分类器。
1.什么是基于概率论的方法？
通过概率来衡量事件发生的可能性。概率论和统计学是两个相反的概念，统计学是抽取部分样本统计来估算总体情况，
而概率论是通过总体情况来估计单个事件或部分事情的发生情况。概率论需要已知数据去预测未知的事件。
2.条件概率

若Ω是全集，A、B是其中的事件（子集），P表示事件发生的概率，则条件概率表示某个事件发生时另一个事件发生的概率。
假设事件B发生后事件A发生的概率为：
3.全概率公式
设Ω为试验E的样本空间，A为E的事件，B1、B2、....、Bn为Ω的一个划分，且P(Bi)>0，其中i=1,2,...,n，则：
P(A) = P(AB1)+P(AB2)+...+P(ABn)
        = P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)
全概率公式主要用途在于它可以将一个复杂的概率计算问题，分解为若干个简单事件的概率计算问题，最后应用概率的可加性求出最终结果

4.贝叶斯公式
设Ω为试验E的样本空间，A为E的事件，如果有k个互斥且有穷个事件，即B1、B2、....、Bk为Ω的一个划分，
且P(B1)+P(B2)+...+P(Bk)=1，P(Bi)>0（i=1,2,...,k)，则：
P(A)：事件A发生的概率；
P(A∩B)：事件A和事件B同时发生的概率；
P(A|B)：事件A在时间B发生的条件下发生的概率；
意义：现在已知时间A确实已经发生，若要估计它是由原因Bi所导致的概率，则可用Bayes公式求出。
5.先验概率和后验概率
先验概率是由以往的数据分析得到的概率，泛指一类事物发生的概率，根据历史资料或主观判断未经证实所确定的概率。
后验概率而是在得到信息之后再重新加以修正的概率，是某个特定条件下一个具体事物发生的概率。
6.朴素贝叶斯分类
贝叶斯分类器通过预测一个对象属于某个类别的概率，再预测其类别，是基于贝叶斯定理而构成出来的。在处理大规模数据集时，贝叶斯分类器表现出较高的分类准确性。
假设存在两种分类：
  1) 如果p1(x,y)>p2(x,y)，那么分入类别1
  2) 如果p1(x,y)p(c2,|x,y)，那么分类应当属于类别c1
  2) 如果p(c1|x,y)