利用基于贝叶斯定理的朴素贝叶斯分类器MultinomialNB进行多类分类(复习3)

本文是个人学习笔记，内容主要涉及MultinomialNB(Naive Bayes)对sklearn内置的fetch_20newsgroups——新闻数据抓取器从互联网上即时下载的新闻文本数据进行多类分类。

朴素贝叶斯模型被广泛应用于互联网新闻的分类、垃圾邮件的筛选等分类任务，它单独考量每一维度特征被分类的条件概率，然后综合这些概率对其所在的特征向量做出分类预测，即“假设各个维度上的特征被分类的条件概率之间是相互独立的”，该假设使得模型预测需要估计的参数规模从指数数量级减少到线性数量级，极大地节约了计算时间和空间。该模型在训练时没考虑各个特征之间的联系，对于数据特征关联性较强的分类任务表现不好。

from sklearn.datasets import fetch_20newsgroups   #fetch_20newsgroups是新闻数据抓取器
news=fetch_20newsgroups(subset='all')   #fetch_20newsgroups即时从互联网下载数据
print(len(news.data))
print(news.data)

from distutils.version import LooseVersion as Version  
from sklearn import __version__ as sklearn_version  
from sklearn import datasets  
if Version(sklearn_version) < '0.18':  
    from sklearn.cross_validation import train_test_split  
else:  
    from sklearn.model_selection import train_test_split  
X_train,X_test,y_train,y_test = train_test_split(news.data, news.target, test_size=0.25, random_state=33)

from sklearn.feature_extraction.text import CountVectorizer   
#特征抽取,将文本特征向量化
vec=CountVectorizer()
X_train=vec.fit_transform(X_train)
X_test=vec.transform(X_test)

from sklearn.naive_bayes import MultinomialNB
mnb=MultinomialNB()
mnb.fit(X_train,y_train)
y_predict=mnb.predict(X_test)

from sklearn.metrics import classification_report
print('The accuracy of Navie Bayes Classifier is',mnb.score(X_test,y_test))
print(classification_report(y_test,y_predict,target_names=news.target_names))