分类算法————朴素贝叶斯算法

目录

1，概率基础

2，贝叶斯公式

​

3，朴素贝叶斯算法

4，文本分类

4.1 拉普拉斯平滑系数

5.API

6，案例：20类新闻分类

7，总结

---

1，概率基础

• 联合概率：包含多个条件，且所有条件同时成立的概率
  • 记作：P(A,B)
  • 特性：P(A, B) = P(A)P(B)<=>A B相互独立
• 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
  • 记作：P(A|B)
  • 特性：P(A1,A2|B) = P(A1|B)P(A2|B)

2，贝叶斯公式

3，朴素贝叶斯算法

原理：朴素+贝叶斯。在假设特征与特征之间相互独立的条件下，利用贝叶斯公式来计算出现概率 。通常用于文本分类之中

4，文本分类

可能会由于样本数量过少，出现某个概率为0。因此引入拉普拉斯平滑系数 

4.1 拉普拉斯平滑系数

目的：防止计算出的分类概率为0

 m为出现的特征词个数，不是出现次数

5.API

• sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
  • 朴素贝叶斯分类
  • alpha：拉普拉斯平滑系数

6，案例：20类新闻分类

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB

def news_demo():
    """
    用朴素贝叶斯算法对新闻分类
    :return:
    """
    #1.获取数据
    news=fetch_20newsgroups(subset="all")

    #2.划分数据集
    x_train,x_test,y_train,y_test=train_test_split(news.data,news.target)

    #3.特征工程：用tfidy文本特征提取
    transfer=TfidfVectorizer()
    x_train=transfer.fit_transform(x_train)
    x_test=transfer.transform(x_test)

    #4.朴素贝叶斯算法模型训练
    estimator=MultinomialNB()
    estimator.fit(x_train,y_train)   #？？

    #5.评估模型
    y_predict=estimator.predict(x_test)
    print("真实值与预测值：\n",y_predict==y_test)

    score=estimator.score(x_test,y_test)
    print("预测准确率为：\n",score)

    return None
news_demo()

7，总结

• 优点：
  • 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
  • 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
  • 分类准确度高，速度快
• 缺点：
  • 由于使用了样本特征属性独立性的假设，所以如果特征属性有关联时其效果不好