11机器学习——朴素贝叶斯算法

11机器学习——分类算法之朴素贝叶斯算法

比如把文章1划分为科技类别，概率为50%，划分为金融类别概率为15%，划分为娱乐类别概率为15%，因为科技类别占的概率最大，就把文章1归为科技类别，这就是朴素贝叶斯的一个思想，找到所有类别中概率最大的那个

概率基础

1. 4/7
2. P（程序员，匀称）=3/7*4/7=12/49 联合概率
3. 2/4 条件概率
4. P（产品，超重|喜欢）=P（产品|喜欢）×P（超重|喜欢）=1/2*1/4=1/8
   
   注意：条件是，所有特征之间是条件独立的
   自然语言处理（不独立）
   朴素贝叶斯使用前提：特征独立

求一篇文章对应的每个类型的概率，在进行比较



预测文档类别

因为分母P（W）是公共部分，是一样的，所以只需要计算分子的部分进行比较

上面的例子中特征词个数为4
P（娱乐|影院，支付宝，云计算）=P(影院，支付宝，云计算|娱乐)×P（娱乐）=（（56+1）/（121+1×4））×（（15+1）/（121+1×4））×（（0+1）/（121+1×4））×（60/90）

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
import pandas as pd
def naviebayes():
    """
    朴素贝叶斯进行文本分类
    :return:None
    """
    news=fetch_20newsgroups(subset='all')

    #进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    #对数据集进行特征抽取
    tf=TfidfVectorizer()

    #以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train=tf.fit_transform(x_train)
    print(tf.get_feature_names())

    x_test=tf.transform(x_test)

    #进行朴素贝叶斯算法的预测
    mlt=MultinomialNB(alpha=1.0)
    print(x_train.toarray())

    mlt.fit(x_train,y_train)
    y_predict=mlt.predict(x_test)
    print("预测的文章类别为：",y_predict)

    #得出准确率
    print("准确率为：",mlt.score(x_test,y_test))

    return None

if __name__=="__main__":
    naviebayes()

结果：

受训练集的影响比较大，训练集误差大，结果肯定不好
不需要调参

总结