【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法(公式、原理)

  • 本文收录于《深入浅出讲解自然语言处理》专栏,此专栏聚焦于自然语言处理领域的各大经典算法,将持续更新,欢迎大家订阅!
  • ​个人主页:有梦想的程序星空
  • ​个人介绍:小编是人工智能领域硕士,全栈工程师,深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域,有较丰富的软件系统、人工智能算法服务的研究和开发经验。
  • ​如果文章对你有帮助,欢迎关注点赞收藏订阅。

朴素贝叶斯(Naive Bayes)是一种简单经典的分类算法,它的经典应用案例为人所熟知:文本分类(如垃圾邮件过滤)。

1、贝叶斯定理

先验概率:即基于统计的概率,是基于以往历史经验和分析得到的结果,不需要依赖当前发生的条件。

后验概率:则是从条件概率而来,由因推果,是基于当下发生了事件之后计算的概率,依赖于当前发生的条件。

条件概率:记事件A发生的概率为P(A),事件B发生的概率为P(B),则在B事件发生的前提下,A事件发生的概率即为条件概率,记为P(A|B)。

P(A|B) = \frac{​{P(AB)}}{​{P(B)}}

贝叶斯公式:贝叶斯公式便是基于条件概率,通过P(B|A)来求P(A|B),如下:

P(A|B) = \frac{​{P(B|A) \times P(A)}}{​{P(B)}}

将A看成“规律”,B看成“现象”,那么贝叶斯公式看成:

全概率公式:表示若事件{A_1},{A_2}, \cdots ,{A_n}构成一个完备事件组且都有正概率,则对任意一个事件B都有公式成立: 

P(B) = \sum\limits_{i = 1}^n {P(B|{A_i}) \times P({A_i})}

将全概率公式带入贝叶斯公式中,得到:

P(A|B) = \frac{​{P(B|A) \times P(A)}}{​{\sum\limits_{i = 1}^n {P(B|{A_i}) \times P({A_i})} }}

2、朴素贝叶斯算法的原理

特征条件假设:假设每个特征之间没有联系,给定训练数据集,其中每个样本x都包括n维特征,即x = ({x_1},{x_2}, \cdots ,{x_n}),类标记集合含有k种类别,即y = ({y_1},{y_2}, \cdots ,{y_k})

对于给定的新样本x,判断其属于哪个标记的类别,根据贝叶斯定理,可以得到x属于{y_k}类别的概率P({y_k}|x)

P({y_k}|x) = \frac{​{P(x|{y_k}) \times P({y_k})}}{​{\sum\limits_k {P(x|{y_k}) \times P({y_k})} }}

后验概率最大的类别记为预测类别,即:\mathop {\arg \max }\limits_{​{y_k}} P({y_k}|x)

朴素贝叶斯算法对条件概率分布作出了独立性的假设,通俗地讲就是说假设各个维度的特征{x_1},{x_2}, \cdots ,{x_n}互相独立,在这个假设的前提上,条件概率可以转化为:

P(x|{y_k}) = P({x_1},{x_2}, \cdots ,{x_n}|{y_k}) = \prod\limits_{i = 1}^n {P({x_i}|{y_k})}

代入上面贝叶斯公式中,得到:

P({y_k}|x) = \frac{​{P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} }}{​{\sum\limits_k {P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} } }}

于是,朴素贝叶斯分类器可表示为:

f(x) = \mathop {\arg \max }\limits_{​{y_k}} P({y_k}|x) = \mathop {\arg \max }\limits_{​{y_k}} \frac{​{P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} }}{​{\sum\limits_k {P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})} } }}

因为对所有的y_k,上式中的分母的值都是一样的,所以可以忽略分母部分,朴素贝叶斯分类器最终表示为:

f(x) = \mathop {\arg \max }\limits_{​{y_k}} P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})}

适用范围:

  • 朴素贝叶斯只适用于特征之间是条件独立的情况下,否则分类效果不好,这里的朴素指的就是条件独立。
  • 朴素贝叶斯主要被广泛地使用在文档分类中。

朴素贝叶斯常用的三个模型有:

  • 高斯模型:处理特征是连续型变量的情况。
  • 多项式模型:最常见,要求特征是离散数据。
  • 伯努利模型:要求特征是离散的,且为布尔类型,即true和false,或者1和0。

4、拉普拉斯平滑

为了解决零概率的问题,法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率,所以加法平滑也叫做拉普拉斯平滑。假定训练样本很大时,每个分量x的计数加1造成的估计概率变化可以忽略不计,但可以方便有效的避免零概率问题。

P({y_k}) \times \prod\limits_{i = 1}^n {P({x_i}|{y_k})}是一个多项乘法公式,其中有一项数值为0,则整个公式就为0显然不合理,避免每一项为零的做法就是在分子、分母上各加一个数值。

P(y) = \frac{​{|{D_y}| + 1}}{​{|D| + N}}

|{D_y}|表示分类y的样本数,|{D}|为样本总数,N是分类总数。

P({x_i}|{D_y}) = \frac{​{|{D_{y,{x_i}}}| + 1}}{​{|{D_y}| + {N_i}}}

|{D_{y,{x_i}}}|表示分类y属性i的样本数,|{D_y}|表示分类y的样本数,N_i表示i属性的可能的取值数。

在实际的使用中也经常使用加\lambda (0 \le \lambda \le 1)来代替简单加1 如果对N个计数都加上\lambda,这时分母也要记得加上N \times \lambda

4、朴素贝叶斯算法的优缺点

优点:

1、朴素贝叶斯模型有稳定的分类效率。
2、对小规模的数据表现很好,能处理多分类任务,适合增量式训练,尤其是数据量超出内存时,可以一批批的去增量训练。
3、对缺失数据不太敏感,算法也比较简单,常用于文本分类。

缺点:

1、需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。
2、对输入数据的表达形式很敏感(离散、连续,值极大极小之类的)。

5、python代码实现

库方法:sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

其中,alpha:拉普拉斯平滑系数

实验内容:sklearn20类新闻分类,20个新闻组数据集包含20个主题的18000个新闻组帖子。

实验方法:首先,加载20类新闻数据,并进行分割。然后,生成文章特征词,接着,使用朴素贝叶斯分类器进行预估。

代码实现:

# coding:utf-8
 
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
 
 
def naviebayes():
    news = fetch_20newsgroups()
    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)
    # 对数据集进行特征抽取
    tf = TfidfVectorizer()
    # 以训练集当中词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train = tf.fit_transform(x_train)
    print(tf.get_feature_names())
    x_test = tf.transform(x_test)
    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)
    print(x_train.toarray())
    mlt.fit(x_train, y_train)
    y_predict = mlt.predict(x_test)
    print("预测的文章类别为:", y_predict)
    # 得出准确率
    print("准确率为:", mlt.score(x_test, y_test))
 
if __name__ == '__main__':
    naviebayes()

关注微信公众号【有梦想的程序星空】,了解软件系统和人工智能算法领域的前沿知识,让我们一起学习、一起进步吧!

你可能感兴趣的:(深入浅出讲解自然语言处理,机器学习,算法,概率论,机器学习,分类)