机器学习 | 朴素贝叶斯法知识总结

机器学习 | 朴素贝叶斯法理论知识

贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。朴素贝叶斯法是基于贝叶斯原理与特征条件独立假设的分类方法。即：加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法（Naive Bayes）。

首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。它的思想是：对于给出的待分类项，求解此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

朴素贝叶斯算法

(1) 设元组X=x1,x2,...,xn为一个待分类项，描述n个属性A1,A2,...An对元组的n个测量。

(2) 假定有m个类C1,C2,...,Cm。朴素贝叶斯分类法预测X属于类Ci，当且仅当P(Ci|X)≥P(Cj|X),1≤i,j≤m,i≠j 。

(3) 由于P(Ci|X)=P(X|Ci)P(Ci)P(X)，而P(X)为常数，只需P(X|Ci)P(Ci)最大即可，同时P(Ci)可求，即P(Ci)=Si/S，其中Si为样本中属于类Ci的个数，而S为样本总数，又因为特征属性是条件独立的，所以有P(X|Ci)=∏k=1nP(Xk|Ci)。

(4) 找出使P(X|Ci)P(Ci)最大的Ci，则X属于类Ci。

根据以上的步骤我们来做一做例题：

给出如表所示的训练样本，目的是判定一个人是否会购买电脑。这个人的属性为X = （年龄 <= 30，收入 = 中等，学生 = 是，信用率 = 一般）。

分类过程：

首先设置类别C1：购买电脑 = “是”，类别C2：购买电脑 = “否”，所以可以求得：

P(C1 )=P(购买电脑=“是”) =9/14=0.643

P(C2 )= P(购买电脑=“否”) =5/14=0.357

然后计算每个类别的P(X | Ci)：

P(年龄=“<30”|购买电脑=“是”)=2/9=0.222

P (年龄=“<30”|购买电脑=“否” )=3/5=0.6

P (收入=“中等”|购买电脑=“是” )=4/9=0.444

P (收入=“中等”|购买电脑=“否” )=2/5=0.4

P (学生=“是”|购买电脑=“是” )=6/9=0.667

P (学生=“是”|购买电脑=“否” )=1/5=0.2

P (信用率=“一般”|购买电脑=“是” )=6/9=0.667

P (信用率=“一般”|购买电脑=“否” )=2/5=0.4

从而可以得到：

P(X|购买电脑=“是”)=0.222×0.444×0.667×0.667=0.044

P(X|购买电脑=“否”)=0.6×0.4×0.2×0.4=0.019

又已知P(Ci)：

P(C1 )=P(购买电脑=“是”) =9/14=0.643

P(C2 )= P(购买电脑=“否”) =5/14=0.357

所以最终得到两个概率：

P(X|购买电脑=“是”)×P(购买电脑=“是”)=0.028

P(X|购买电脑=“否”)×P(购买电脑=“否”)=0.007

故取较大值，X处于类别C1，所以他会购买电脑。

更多的机器学习知识整理和代码时间可以访问以下公众号链接观看

机器学习 | 基本概念（一）http://bbit.vip/service/main.php?version=1&type=article&id=102

机器学习 | 基本概念（二）http://bbit.vip/service/main.php?version=1&type=article&id=103

机器学习 | 感知机理论知识（一）http://bbit.vip/service/main.php?version=1&type=article&id=106

机器学习 | 感知机理论知识（二）http://bbit.vip/service/main.php?version=1&type=article&id=107

机器学习 | 感知机实践 http://bbit.vip/service/main.php?version=1&type=article&id=105

机器学习 | k近邻法理论知识（一）http://bbit.vip/service/main.php?version=1&type=article&id=100

机器学习 | k近邻法理论知识（二）http://bbit.vip/service/main.php?version=1&type=article&id=101