贝叶斯分类器

一、背景

贝叶斯分类是以贝叶斯定理为基础的一种分类算法，其主要思想为：先验概率+新的数据=后验概率。将分类看做决策，进行贝叶斯决策时考虑各类的先验概率和类条件概率，也即后验概率。

二、贝叶斯公式

我们经常会需要在已知 P (y | x) 时计算 P (x | y)。幸运的是，如果还知道 P (x)，
我们可以用 贝叶斯公式来实现这一目的：

推广下来：

 

三、最小错误率贝叶斯决策

贝叶斯决策的基本理论依据就是贝叶斯公式（式1），由总体密度P(E)、先验概率P(H)和类条件概率P(E|H)计算出后验概率P(H|E)，判决遵从最大后验概率。这种仅根据后验概率作决策的方式称为最小错误率贝叶斯决策，可以从理论上证明这种决策的平均错误率是最低的。另一种方式是考虑决策风险，加入了损失函数，称为最小风险贝叶斯决策。

 通过式3和式4得出，最小错误率意味着每一个决策都必须遵从最大后验概率。而最小错误率贝叶斯决策的判决方式就是遵从最大后验概率。

四、 最小风险贝叶斯决策

决策往往意味着风险，这是实际决策中的常见情形。在做出风险性决策时尤为需要考虑风险，比如巨额投资的决策，如果采取激进策略可能会带来巨额损失，而保守策略就不会有风险。各种决策的风险可以用决策表表示，如表1。假设ω1，表示亏损，α1表示保守决策；ω2表示盈利，α2表示激进决策。如果预测对了自然不会带来风险，但是如果做出了激进决策，可是接下来却是亏损状态，那这个决策具有较大的风险，因此给定风险值5；而在做出保守决策后出现盈利状态也会带来一定的风险，但不至于亏损本金，因此给定风险值1。

 

五、贝叶斯决策的一般过程

（1）估计先验概率：①根据实际情况做经验估计；②根据样本分布的频率估计概率。

（2）计算类条件概率密度：①参数估计：类条件概率分布类型已知，参数未知，通过训练样本来估计（最大似然法、Bayes估计）；②非参数估计：不判断类条件概率分布类型，直接根据训练样本来估计（Parzen窗、k近邻法）。

（3）计算后验概率。

（4）若进行最小错误率决策，根据后验概率即可作出决策。

（5）若进行最小风险决策，按照式6计算即可。

 

参考：

贝叶斯分类器原理——学习笔记_就是AT的博客-CSDN博客

统计决策——贝叶斯决策理论（Bayesian Decision Theory）

详解贝叶斯分类器_贝叶斯分类器是一种_toplatona的博客-CSDN博客