朴素贝叶斯算法

朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 xx ，利用贝叶斯定理求出后验概率最大的输出 yy 

例子：在夏季，某公园男性穿凉鞋的概率为 1/2 ，女性穿凉鞋的概率为 2/3 ，并且该公园中男女比例通常为 2:1 ，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？

朴素贝叶斯算法正是利用以上信息求解后验概率，并依据后验概率的值来进行分类。

一、分析

1、先验概率：根据以往经验和分析得到的概率                                                                                  在例子中，根据男女比例2：1，可得 P(Y=ymen)=2/3，P(Y=ywomen)=1/3

2、条件概率:在事件 Y=y已经发生的条件下，事件 X=x 发生的概率                                                                       

       在例子中：男性穿凉鞋的概率为 1/2，也就是说“是男性的前提下，穿凉鞋的概率是 1/2，此概率为条件概率，即 P(X=x1|Y=ymen)=1/2。同理“女性穿凉鞋的概率为 2/3” 为条件概率 P(X=x1|Y=ywomen)=2/3。

3、联合概率:事件Y=y和事件X=x同时发生的概率

      P(X=x1,Y=yman)=1/3  ,   P(X=x1,Y=ywomen)=2/9

4、全概率公式:如果事件 Y=y1,Y=y2,...,Y=ynY=y1,Y=y2,...,Y=yn 可构成一个完备事件组，即它们两两互不相容，其和为全集。则对于事件 X=xX=x 有：

              

       

 

5、后验概率:某事件 X=x 已经发生，那么该事件是因为事件 Y=y的而发生的概率

后验概率的计算要以先验概率为基础。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。

在例子中，在知道一个人穿拖鞋的前提下，这个人是男性的概率或者是女性的概率是多少即为后验概率

 

二、推导