《统计学习方法》之朴素贝叶斯法思路整理

《统计学习方法》之朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

1. 朴素贝叶斯法的基本方法：

      输入空间：
                                                               
为n维向量的集合。
      输出空间：
                                                          
X是定义在输入空间上的随机变量，Y是定义在输出空间上的随机变量。P(X,Y)是X和Y的联合分布概率分布。训练数据集
                                                          
由P(X,Y)独立分布产生。

2. 朴素贝叶斯法通过训练数据集学习联合分布概率P(X,Y)：
先验概率分布:
（先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率）
                                                      
条件概率分布：
                  
于是学习到联合概率分布。
朴素贝叶斯法对条件概率分布作了独立性的假设。条件独立性假设是
                
条件独立性假设会使朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确性。

3. 朴素贝叶斯法分类时通过学习到的模型计算后验概率分布：
后验概率计算根据贝叶斯定理进行：

带入条件独立性假设公式，化简后最终得到：

                                              
将后验概率最大的类作为x的类输出。