机器学习之朴素贝叶斯算法

一、什么是朴素贝叶斯算法？

1. 概率的定义：一件事情发生的可能性(统计学中定义为一事件随着次数的增加发生频率的稳定值即为该事件发生的概率)，其取值位于[0,1]。
2. 联合概率、条件概率与相互独立（统计学知识）
3. 贝叶斯公式（朴素的含义：假设特征与特征之间是相互独立）
   

二、应用场景

朴素贝叶斯主要是用于文本分类或者文章的情感分析当中，因为针对文本可以将单词作为特征
以下面为例

这里比较P(C|Chinese,Chinese,Chinese,Tikyo,Japan)与P(非C|Chinese,Chinese,Chinese,Tikyo,Japan)的概率的大小，就能确定上述图片问号处为Yes还是No，显然前者大于后者则为yes而后者大于前者则为No。而两个概率的计算正是要是使用一里面所提到的贝叶斯公式来计算，具体计算方式就参考条件概率下的计算式表达式。

三、API

sklearn.naive_bayes.MultinomialNB(alpha=1.0)	

• 朴素贝叶斯分类
• alpha：拉普拉斯平滑系数

四、案列分析（⭐️）

20个新闻组数据集是大约20,000个新闻组文档的集合，平均分布在20个不同的新闻组中。该数据集已经成为机器学习技术的文本应用中的实验流行数据集合，例如文本分类和文本聚类。案列具体步骤如下：

• 获取数据
• 数据集的划分
• 特征工程—TFIDF进行特征的抽取
• 朴素贝叶斯预测
• 模型选择调优
• 模型评估

最后代码如下

from sklearn.datasets import load_iris,fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
import ssl

def nb_news():
    """
    使用朴素贝叶斯进行分类
    1、获取数据
    2、数据集的划分
    3、特征工程--TFIDF进行文本特征的抽取
    4、使用朴素贝叶斯进行分类
    5、模型的选择与调优
    6、模型的评估
    :return:
    """

    "1）、获取数据"
    news = fetch_20newsgroups(subset="all")
    "2）、数据的划分:这一部分前面都是固定的"
    x_train,x_test,y_train,y_test = train_test_split(news.data,news.target)
    "3)、特征工程"
    transfer = TfidfVectorizer()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    "4)、朴素贝叶斯算法预估流程"
    estimator = MultinomialNB()
    estimator.fit(x_train,y_train)

    "5)、模型评估"
    """评估方法1：直接比对真实值和预测值"""
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接比对真实值和预测值:\n", y_test == y_predict)
    """评估方法2：计算准确率"""
    score = estimator.score(x_test, y_test)  # 相当于计算了预估器的准确率，因为这里本来是完全一致的
    print("准确率：\n", score)

if __name__ == '__main__':
	#这一步主要是解决我电脑证书的问题，如果你没得问题可以直接删除
    ssl._create_default_https_context = ssl._create_unverified_context
    nb_news()

五、朴素贝叶斯算法的总结

• 优点
  1. 发源于古典数学理论，有稳定的分类效率；
  2. 对缺失数据不太敏感，算法比较简单，常用于文本分类
  3. 分类准确率高，速度快；
• 缺点
  1. 由于使用了样本属性独立性的假设，所以如果特征属性有关联时效果不好