机器学习——朴素贝叶斯

目录

一、什么朴素贝叶斯（基于概率进行预测的算法，用于分类）

二、计算方法

2.1 基本方法

 2.2 后验概率最大化的含义

 三、朴素贝叶斯法的参数估计

3.1 极大似然估计

 3.2 朴素贝叶斯算法

 举个例子：

 解：​

 3.3 贝叶斯估计

 例题

解：

---

一、什么朴素贝叶斯（基于概率进行预测的算法，用于分类）

朴素贝叶斯是基于贝叶斯定理与条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

具体来说：计算数据为某个标签的概率，并将其分类为概率值最大的标签。

二、计算方法

要求：输入是独立的。

2.1 基本方法

训练数据集：

由P（X,Y)独立同分布产生。

朴素贝叶斯法通过训练数据集学习联合分布P（X,Y).具体地，学习以下先验概率分布及条件概率分布。先验概率分布

 条件概率分布：

 朴素贝叶斯法对条件概率分布做了条件独立性假设。具体地，条件独立假设是：

 2.2 后验概率最大化的含义

 

 

 三、朴素贝叶斯法的参数估计

3.1 极大似然估计

 3.2 朴素贝叶斯算法

 

 举个例子：

 解：

 3.3 贝叶斯估计

 例题

解：