数学建模-朴素贝叶斯分类器

前言

大家好,今天是坚持写作的第二天,今天主要介绍一下贝叶斯分类器的主要内容。说起贝叶斯这个名字,可能大部分同学都比较熟悉。以贝叶斯理论为基础的朴素贝叶斯分类器目前任然是十大流行的数据挖掘算法之一,不过这么厉害的一个理论,他的创造者竟然是英国的一位神父,真的令人有一点点匪夷所思。

贝叶斯思想简介

贝叶斯学派和传统的频率派是概率论中两大经典的理论学说,频率派的思想我想大家都比较熟悉,比如,一个班级中有50个人,现在要选一个人当班长,每个人被选中的概率就是1/50。而贝叶斯理论其实很大一部分是建立在条件概率的基础之上的,为了让大家更加充分的理解贝叶斯学说,我先用比较通俗的语言给大家解释一下。
贝叶斯理论中经常会涉及到以下三个名词:
(1)先验分布,原来我们已经有的知识;
(2)样本数据,搜集到的新的数据;
(3)后验分布,通过新的数据对先验分布进行更新以后所得到的知识;
举个例子,假如一开始我们认为世界上好人和坏人是一样多的,比如好人和坏人都是100个,这就是我们原有的知识(先验分布),后来我们又被两个好人帮助,一个坏人伤害,这就是新的数据,也就是样本数据,通过我们自身的经历,我们对原有的认知进行更新,得到好人比坏人多的结果(后验分布)。
以上就是贝叶斯思想大概的框架,仔细体味,感觉贝叶斯思想带有一些现代机器学习的思想,不得不让人佩服贝叶斯的伟大。

贝叶斯理论数学描述。

理解了贝叶斯理论的大概思想以后,我们再来看一下贝叶斯的数学描述,具体内容可以看我从百度百科中引用的这张图片,描述的很详细。
数学建模-朴素贝叶斯分类器_第1张图片

贝叶斯决策论

贝叶斯决策论的内容,其实相对较少,主要是为我们提供一种科学的选择方式,应为朴素贝叶斯分类器起作用就是分类,所以有时我们可以利用贝叶斯决策论的内容提高贝叶斯分类器模型的精度。
贝叶斯决策论的具体内容如下:

数学建模-朴素贝叶斯分类器_第2张图片

数学建模-朴素贝叶斯分类器_第3张图片
以上内容引自于周志华的机器学习。
西瓜书关于一些常用的机器学习模型介绍的都非常详细,十分的推荐给大家。

朴素贝叶斯分类模型

在正式学习任何模型的同时,大家一定要注意模型的使用条件。例如朴素贝叶斯模型对于离散值就采用了属性条件独立得假设:假设所有属性相互独立,基于属性条件独立,对于连续值采用得连续性变量得正态假设为前提条件。
如上文所说,朴素贝叶斯分类器主要解决得是一个分类问题,对于二分类问题来说,通过贝叶斯公式计算两种结果可能性的大小,最后贝叶斯分类器把最终结果判定为可能性较大得一方。
举个简单得例子,通过一个西瓜的数据集,我们根据各个属性得概率去判定某个瓜是不是好瓜。
数学建模-朴素贝叶斯分类器_第4张图片
数学建模-朴素贝叶斯分类器_第5张图片
数学建模-朴素贝叶斯分类器_第6张图片
到这里估计大家对朴素贝叶斯分类器应该有了一个大概的了解了,上面得例子也是引用得周志华机器学习中的例子。
朴素贝叶斯分类器得主要原理是根据下面的全概率公式进行计算的,具体内容如下:
数学建模-朴素贝叶斯分类器_第7张图片
上面得例子中的各个属性就是B_i 好瓜或者坏瓜就是A。

总结

今天大概花了一个半小时来写这篇文章,代码其实就是计算这个全概率公式中需要的各个参数。有问题欢迎指正 讨论。

你可能感兴趣的:(机器学习,算法,人工智能,数学建模,朴素贝叶斯算法)