通俗易懂机器学习——朴素贝叶斯算法

本文将叙述朴素贝叶斯算法的来龙去脉,从数学推导到计算演练到编程实战

文章内容有借鉴网络资料、李航《统计学习方法》、吴军《数学之美》加以整理及补充

基础知识补充:
1、贝叶斯理论–吴军数学之美
http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/

2、条件概率
通俗易懂机器学习——朴素贝叶斯算法_第1张图片

3、联合分布
通俗易懂机器学习——朴素贝叶斯算法_第2张图片

朴素贝叶斯算法
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的
分类方法。给定训练数据集,首先基于特征条件独立假设学习
输入/输出的联合概率分布,然后根据此模型,对给定的输入x,
利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯法属于生成方法,关键在于找到输入输出的联合分
布,或者说确定联合分布的参数也就确定了联合分布。在特征条
件独立的假设下,对每一个特征通过频率求解其条件概率分布,
这些条件概率分布最终用于求解后验概率。

推导约定:
通俗易懂机器学习——朴素贝叶斯算法_第3张图片

朴素贝叶斯算法通过训练数据集学习联合概率分布P(X|Y) ,具体地,学习先验概率分布
这里写图片描述
以及条件概率分布
这里写图片描述

朴素贝叶斯算法对条件概率分布作了条件独立性的假设,具体的,条件独立性假设是
这里写图片描述
通俗易懂机器学习——朴素贝叶斯算法_第4张图片

算法求值步骤
通俗易懂机器学习——朴素贝叶斯算法_第5张图片

这里有个地方要注意,当新样本的特征值不在训练总样本集中时,计算
通俗易懂机器学习——朴素贝叶斯算法_第6张图片
的值将为0,将无法对新样本进行分类
所以加入拉普拉斯平滑
通俗易懂机器学习——朴素贝叶斯算法_第7张图片

没有例子光有公式还是无法理解算法精髓??那就来一波例子吧
1、
通俗易懂机器学习——朴素贝叶斯算法_第8张图片

通俗易懂机器学习——朴素贝叶斯算法_第9张图片

2、高斯朴素贝叶斯计算

通俗易懂机器学习——朴素贝叶斯算法_第10张图片
通俗易懂机器学习——朴素贝叶斯算法_第11张图片

最后编码实战: 站在巨人的肩膀上工作
机器学习利器——-scikit-learn
http://scikit-learn.org/stable/modules/naive_bayes.html

你可能感兴趣的:(机器学习,数据挖掘,机器学习,统计学,算法,数学)