朴素贝叶斯算法

---

一、基本概念

• 朴素贝叶斯（NB）是一种基于贝叶斯定理与特征条件独立假设的分类算法。它被广泛应用于文本分类、垃圾邮件过滤等领域。

• 朴素贝叶斯算法简单易懂，其核心思想是假设在给定目标值时，各个属性之间相互独立。

• 在实际应用中，朴素贝叶斯算法在垃圾邮件过滤中表现出色。它不仅准确率高，而且速度快，且对于处理大规模数据集时也能够保持良好的性能。同时，朴素贝叶斯算法对于缺失数据不太敏感，这在实际场景中也是非常有用的特性。

二、算法及代码应用

朴素贝叶斯NB算法分类

• 高斯朴素贝叶斯
• 多项式朴素贝叶斯
• 伯努利朴素贝叶斯

1. 高斯朴素贝叶斯（GaussianNB）：

   • 高斯朴素贝叶斯假设特征的分布是高斯分布（正态分布），适用于连续型特征。
   • 计算每个特征在每个类别下的概率时，使用的是特征的实际值与该特征在每个类别下的均值和方差的高斯概率密度函数进行计算。
   • 在实际应用中，如果特征的分布大致符合正态分布，那么可以考虑使用高斯朴素贝叶斯。

   from sklearn.naive_bayes import GaussianNB
   
   # 创建高斯朴素贝叶斯模型
   gnb = GaussianNB()
   

2. 多项式朴素贝叶斯（MultinomialNB）：

   • 多项式朴素贝叶斯假设特征是从多项式分布生成的，通常用于处理表示计数的特征，比如文本分类中的词频统计。
   • 计算每个特征在每个类别下的概率时，使用的是特征的计数（出现次数）与该特征在每个类别下的计数的多项式概率进行计算。
   • 在文本分类、垃圾邮件过滤等问题中经常使用多项式朴素贝叶斯。

   from sklearn.naive_bayes import MultinomialNB
   
   # 创建多项式朴素贝叶斯模型
   mnb = MultinomialNB()
   

3. 伯努利朴素贝叶斯（BernoulliNB）：

   • 伯努利朴素贝叶斯假设特征是二元的，即每个特征都是布尔值（0或1），例如文本分类中的单词是否出现在文档中。
   • 计算每个特征在每个类别下的概率时，使用的是特征的二元值与该特征在每个类别下的二元值的伯努利概率进行计算。
   • 在二分类问题中，特征通常表示是否出现或未出现某个事件，例如垃圾邮件分类中的单词是否出现在邮件中。

   from sklearn.naive_bayes import BernoulliNB
   
   # 创建伯努利朴素贝叶斯模型
   bnb = BernoulliNB()
   

算法区别

1. 运算速度复杂度：

   • 高斯朴素贝叶斯（GaussianNB）：在每个特征上需要计算均值和方差，然后对测试样本进行高斯概率密度函数的计算，因此在具有连续型特征的情况下，计算复杂度相对较高，但通常仍然可以在大多数实际应用中快速运行。
   • 多项式朴素贝叶斯（MultinomialNB）：在每个特征上需要计算特征的计数和类别的计数，然后对测试样本进行多项式概率的计算，计算复杂度较低，尤其适用于处理表示计数的离散型特征，如文本分类中的词频统计。
   • 伯努利朴素贝叶斯（BernoulliNB）：与多项式朴素贝叶斯类似，也需要计算特征的二元值和类别的二元值，然后对测试样本进行伯努利概率的计算，计算复杂度较低，尤其适用于处理表示是否出现某个事件的二元数据，如垃圾邮件分类中的单词是否出现在邮件中。

2. 计算概率的方式：

   • 高斯朴素贝叶斯（GaussianNB）：假设特征的分布是高斯分布，因此在计算特征在每个类别下的概率时，使用的是特征的实际值与该特征在每个类别下的均值和方差的高斯概率密度函数进行计算。
   • 多项式朴素贝叶斯（MultinomialNB）：假设特征是从多项式分布生成的，因此在计算特征在每个类别下的概率时，使用的是特征的计数（出现次数）与该特征在每个类别下的计数的多项式概率进行计算。
   • 伯努利朴素贝叶斯（BernoulliNB）：假设特征是二元的，因此在计算特征在每个类别下的概率时，使用的是特征的二元值与该特征在每个类别下的二元值的伯努利概率进行计算。

综上所述，这三种朴素贝叶斯模型在运算速度复杂度和计算概率的方式上都有所不同，选择合适的模型应根据数据的特点和计算资源的限制来进行。

其他机器学习算法：

• K 近邻算法
• 决策树与随机森林算法

机器学习实战工具安装和使用

• tensorflow安装版本问题
• PyTorch版本说明与安装