机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)

先验概率与后验概率

引例

想象有 A、B、C 三个不透明的碗倒扣在桌面上,已知其中有(且仅有)一个瓷碗下面盖住一个鸡蛋。此时请问,鸡蛋在 A 碗下面的概率是多少?答曰 1/3。
  现在发生一件事:有人揭开了 C 碗,发现 C 碗下面没有蛋。此时再问:鸡蛋在 A 碗下面的概率是多少?答曰 1/2。注意,由于有“揭开C碗发现鸡蛋不在C碗下面”这个新情况,对于“鸡蛋在 A 碗下面”这件事的主观概率由原来的 1/3 上升到了1/2。这里的先验概率就是 1/3,后验概率是 1/2。
也就是说“先”和“后”是相对于引起主观概率变化的那个新情况而言的。

条件概率公式、全概率公式、贝叶斯公式

条件概率公式:

在事件B发生的条件下,A发生的概率
在这里插入图片描述

换一种写法:
在这里插入图片描述

理解了条件概率公式后,用一个引例介绍后面两个公式:村子里有三个小偷在这里插入图片描述,事件B={村子失窃},已知小偷们的偷窃成功率依次是在这里插入图片描述,除夕夜去偷的概率依次是在这里插入图片描述

全概率公式:

求:村庄除夕夜失窃的概率
在这里插入图片描述

贝叶斯公式:

求:在村子失窃的条件下,偷窃者是某个小偷的概率机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第1张图片

什么是朴素贝叶斯(Naive Bayes)

引例

有一个训练集包含100个人,特征1是皮肤颜色(黑、黄)、特征2是个人资产情况(富、穷),标记是地区(非洲、亚洲)。在训练集中有60个非洲人(黑穷47, 黑富1, 黄穷11, 黄富1),有40个亚洲人(黑穷1, 黄穷32, 黄富*7)。请分别训练一个朴素贝叶斯模型。(作者这里不存在任何人种歧视的观点)

先计算先验概率:
在这里插入图片描述

再计算每一个特征的条件概率:
机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第2张图片

到此,已经完成了朴素贝叶斯模型所有参数的计算,模型学习完毕。

假设新来了一个人,他的特征是【[黑,穷],地区=?】,请用朴素贝叶斯模型预测一下他的地区。
机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第3张图片

根据计算结果,模型会将这个人的地区预测为非洲。

二娃:你这个例子扯了这么半天,虽然我看明白了整套训练和预测的过程,可是,如何哪里体现了“朴素”和“贝叶斯”呢?

先说“朴素”,在例子中的体现就是:假设特征间是独立的(忽略皮肤颜色和资产情况的联系)。从而变成了“低配版的贝叶斯模型”,称为“朴素贝叶斯”。优点是可以减少需要估计的参数的个数;缺点是会牺牲一定的分类准确率。

再说“贝叶斯”,例子中公式的推倒都是朴素贝叶斯,如果是贝叶斯的话预测的公式是:

可以发现,朴素贝叶斯模型需要计算的参数个数为:

在这里插入图片描述

是线性增长的;而贝叶斯模型需要计算的参数个数为:
在这里插入图片描述

是指数增长的,实际是不可行的。

翠花:能不能用简练的语言叙述朴素贝叶斯的工作原理?

训练:先根据数据集,计算标记(地区)的先验概率,再计算每一个特征(肤色和财产)的条件概率。

预测:当一个训练集外的黑穷人来报道,假设特征间是独立的,朴素贝叶斯模型会预测他的老家是非洲的,原理就是“非洲人里黑人的比例 * 非洲人里穷人的比例 > 亚洲人里黑人的比例 * 亚洲人里穷人的比例”。这个乘积其实就是后验概率,贝叶斯模型会将实例分到后验概率最大的类中。

朴素贝叶斯(naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。

拉普拉斯平滑(Laplace Smoothing)

继续上文的引例,考虑一个这样的问题:如果已知“某人的地区完全依靠其肤色的就能确定,资产情况是一个对判断地区没有参考价值的特征”,当来了一个黑穷人的时候,我们要算
在这里插入图片描述

如果根据训练集计算出,在这里插入图片描述,发现(式1)<(式2),则把一个黑穷人预测为亚洲人,分类产生偏差了。原因在于:如果出现某个要估计的概率值为0的情况时,会影响到后验概率的计算结果。

解决这一问题的方法是使用平滑操作,即令先验概率公式变为:
在这里插入图片描述

每个特征的条件概率公式变为:
机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第4张图片

式子中在这里插入图片描述,等价于在随机变量各个取值的频数上赋予一个正数,当在这里插入图片描述,称为拉普拉斯平滑。

机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第5张图片

首先了解下多项式分布、正态分布

多项式分布:

我们扔一个骰子,重复扔n次,点数1~6的出现次数分别为(x1,x2,x3,x4,x5,x6)时的概率构成多项式分布。
机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第6张图片

正态分布(高斯分布):

正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。

引例中的朴素贝叶斯模型假设特征的条件概率分布满足多项式分布。

当特征是连续变量的时候,运用多项式朴素贝叶斯分类器模型就会导致很多待估测的参数是0(不做平滑的情况下),此时即使做平滑,所得到的条件概率也难以描述真实情况。所以处理连续的特征变量,应该采用高斯朴素贝叶斯分类器模型(假设特征的条件概率分布满足正态分布)。

举个例子(维基百科):

我们要做一个性别分类,观测的特征包括:身高、体重、脚的尺寸。

现有训练集:
机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第7张图片

根据训练集计算一些参数:

要对测试集进行性别预测:
在这里插入图片描述

计算过程:

机器学习之重点汇总系列(三)——朴素贝叶斯(Naive Bayes)_第8张图片

结果:预测为女性的概率高于预测为男性的概率,因此,将其预测为女性。

# -*- coding: utf-8 -*-
import numpy as np
from sklearn.datasets import load_iris
from sklearn import naive_bayes

iris = load_iris()
trainX = iris.data
trainY = iris.target
clf=naive_bayes.GaussianNB()  #高斯分布,没有参数
# clf=naive_bayes.MultinomialNB()  #多项式分布

clf.fit(trainX,trainY)
print "训练准确率:" + str(clf.score(trainX,trainY))
print "测试准确率:" + str(clf.score(trainX,trainY))

'''
训练准确率:0.96
测试准确率:0.96
'''

你可能感兴趣的:(AI)