朴素贝叶斯分类器原理及公式

https://blog.csdn.net/u012162613/article/details/48323777

 全概率公式：

贝叶斯定理：，，

对于分类模型，X,y。X有n维特征各自独立，y有k类（k个取值）。

独立性假设：

用于分类的特征在类确定下来的情况下都是独立的。

分母都一样，P(yk)根据数据分布求，分子第一项的求法有两种。

1. x的特征离散时，表示为这一类样本中某个特征等于某个取值的概率。（多项式模型，取值次数；伯努利模型：是否出现。）
2. x的特征连续时，假设特征高斯分布，对每一类样本求均值和方差，求条件概率。

特点：

优点：条件概率数量大为减少（独立性假设），学习和预测大为简化。

缺点：分类性能不一定高。

 

利用贝叶斯定理与学到的联合概率模型进行分类预测，将输入x分到后验概率最大的类y。

后验概率最大等价于0-1损失函数的期望风险最小化。