python朴素贝叶斯调参_机器学习笔记（4） -- 文本分类实例（20Newgroups数据集）...

1. 问题定义

在这个项目中会采用20Newgroups的数据，这是在网上非常流行的对文本进行分类和聚类的数据集。数据集中的数据分为两部分，一部分是用来训练算法模型的数据，一部分是用来评估算法的新数据。网上还提供了3个数据集，这里采用了20new-bydate这个数据集进行项目研究。这个数据集是按照日期进行排序的，并去掉了部分重复数据和header，共包含18846个文档。

2.导入数据

这里使用scikit-learn的loadfiles导入文档数据，文档是按照不同的分类分目录来保存的，文件目录 名称即所属类别。

在导入文档数据之前，要导入项目中所需的类库。

# 导入类库

from sklearn.datasets import load_files

from sklearn.feature_extraction.text import CountVectorizer

from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.linear_model import LogisticRegression

from sklearn.naive_bayes import MultinomialNB

from sklearn.neighbors import KNeighborsClassifier

from sklearn.svm import SVC

from sklearn.tree import DecisionTreeClassifier

from sklearn.metrics import classification_report

from sklearn.metrics import accuracy_score

from sklearn.model_selection import cross_val_score

from sklearn.model_selection import KFold

from sklearn.model_selection import GridSearchCV

from sklearn.ensemble import AdaBoostClassifier

from sklearn.ensemble import RandomForestClassifier

from matplotlib import pyplot as plt

import warnings

warnings.filterwarnings('ignore')

利用机器学习对文本进行分类，与对数值特征进行分类最大的区别是，对文本进行分类是要先提取文本特征，提取到的文本特征属性的个数是巨大的，会有超万个的特征属性。

3. 文本特征提取

文本数据属于非结构化的数据，一般要转换成结构化的数据才能够通过机器学习算法进行分类。常见的做法是将文本转换成“文档-词项矩阵”，矩阵中的元素可以使用词频或TF-IDF值等。

TF-IDF值是一种用于信息检索与数据挖掘的常用加权技术。TF的意思是词频(Term Frequency)，IDF的意思是逆向文件频率(Inverse Document Frequency)。TF-IDF的主要思想是：如果某一个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或短语具有很好的类别区分能力，时适合用来分类。TF-IDF实际上是TF*IDF。

IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力，如果某一类文档C中包含词条t的文档数为m，而其他类包含t的文档总数为k，显然所有包含t的文档数n = m + k，当m打的时候，n也大，按照IDF公式得到的IDF的值小，这说明该词条t的类别区分能力不强。但是实际上，如果一个词条在一个类的文档中频繁出现，这说明该词条能够很好地代表这个类的文本特征，这样的词条应该被赋予较高的权重，并将其作为该类文本的特征词，以区别于其他类文档。这就是IDF的不足之处，在一份给定的文件里，TF指的是某一个给定的词语在该文件中出现的频率，这是对词数(Term Count)的归一化，乙方他偏向长的文件。IDF是一个词语普遍重要性的度量，某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到。

在scikit-learn中提供了词频和TF-IDF来进行文本特征提取的实现，分别是CountVectorizer和TfidTransformer。下面对训练数据集分别进行词频和TF-IDF的计算。

# 数据准备与理解

# 计算词频

count_vect = CountVectorizer(stop_words= 'english',decode_error ='ignore')

X_train_counts = count_vect.fit_transform(dataset_train.data)

# 查看数据维度

print(X_train_counts.shape)

词频统计结果：

然后计算TF-IDF：

# 计算TF-IDF

tf_transformer = TfidfVectorizer(stop_words='english',decode_error='ignore')

X_train_counts_tf = tf_transformer.fit_transform(dataset_train.data)

# 查看数据维度

print(X_train_counts_tf.shape)

TF-IDF的计算结果：

这里通过两种方法进行了文本特征的提取，并且查看了数据维度，得到的数据维度还是非常巨大的。

4. 评估算法

通过简单地查看数据维度，不能确定那个算法对和这个问题比较有效。下面将采用10折交叉验证的方式来比较算法的准确度，一遍找到处理问题最有效的两三种算法，然后进行下一步的处理。

# 设置评估算法的基准

num_folds = 10

seed = 7

scoring = 'accuracy'

接下来将会利用提取到的文本特征TF-IDF来对算法进行审查，审查的算法如下：

线性算法：逻辑回归(LR)

非线性算法：分类与回归树(CART)、支持向量机(SVM)、朴素贝叶斯分类器(MNB)和K近邻(KNN)。

# 评估算法

# 生成算法模型

models = {}

models['LR'] = LogisticRegression()

models['SVM'] = SVC()

models['CART'] = DecisionTreeClassifier()

models['MNB'] = MultinomialNB()

models['KNN'] = KNeighborsClassifier()

所有的算法使用默认参数，比较算法的准确度和标准方差，以便从中选择两三种可以进一步进行研究的算法。

# 比较算法

results = []

for key in models:

kfold = KFold(n_splits= num_folds,random_state= seed)

cv_results = cross_val_score(models[key],X_train_counts_tf,dataset_train.target,cv = kfold,scoring=scoring)

results.append(cv_results)

print('%s ：%f(%f)'%(key,cv_results.mean(),cv_results.std()))

执行结果显示，逻辑回归(LR)具有最后的准确度，朴素贝叶斯分类器(MNB)和K近邻也值得进一步研究。

接下来看一下算法每次执行结果的分布情况。

5.算法调参

通过上面的分析，逻辑回归(LR)和朴素贝叶斯分类器(MNB)算法值得进一步优化。下面对这两个算法的参数进行调参，进一步提高算法的准确度。

5.1 逻辑回归调参

在逻辑回归中的超参数是C。C是目标的约束函数，C值越小则正则化强度越大。对C进行设定一定数量的值，如果临界值是最优参数，重复这个步骤，直到找到最优值。

# 调参LR

param_grid = {}

param_grid['C'] = [0.1,5,13,15]

model = LogisticRegression()

kfold = KFold(n_splits=num_folds,random_state=seed)

grid = GridSearchCV(estimator=model,param_grid = param_grid, scoring = scoring,cv=kfold)

grid_result = grid.fit(X=X_train_counts_tf,y=dataset_train.target)

print('最优：%s 使用%s'%(grid_result.best_score_,grid_result.best_params_))

可以看到C的最优参数是15。

5.2 朴素贝叶斯分类器调参

通过对逻辑回归调参，准确度提升到大概0.92，提升还是比较大的。朴素贝叶斯分类器有一个alpha参数，该参数是一个平滑参数，默认值为1.0。我们也可以对这个参数进行调参，以提高算法的准确度。

# 调参 MNB

param_grid ={}

param_grid['alpha'] = [0.001,0.01,0.1,1.5]

model = MultinomialNB()

kfold = KFold(n_splits=num_folds,random_state=seed)

grid = GridSearchCV(estimator= model, param_grid = param_grid, scoring=scoring, cv=kfold)

grid_result = grid.fit(X = X_train_counts_tf, y = dataset_train.target)

print('最优：%s 使用%s'%(grid_result.best_score_,grid_result.best_params_))

同样，通过多次调整param_grid，得到的朴素贝叶斯分类器的alpha参数的最优值是0.01。

通过调参发现，逻辑回归在C = 15 是具有最好的准确度。接下来进行审查集成算法。

6. 集成算法

除了调参，提高算法准确度的方法是使用集成算法。下面对两种集成算法进行比较，看看能否进一步提高模型的准确度。

随机森林(RF)

AdaBoost(AB)

# 集成算法

ensembles = {}

ensembles['RF'] = RandomForestClassifier()

ensembles['AB'] = AdaBoostClassifier()

# 比较集成算法

results = []

for key in ensembles:

kfold = KFold(n_splits= num_folds,random_state= seed)

cv_results = cross_val_score(ensembles[key],X_train_counts_tf,dataset_train.target,cv = kfold,scoring = scoring)

results.append(cv_results)

print('%s : %f(%f)'%(key,cv_results.mean(),cv_results.std()))

评估结果：

7. 集成算法调参

通过对集成算法的分析，发现随机森林算法具有较高的准确度和非常稳定的数据分布，非常值得进行进一步的研究。下面通过调参对随机森林算法进行优化。随机森林有一个很重要的参数n_estimators，下面对n_estimators进行调参优化，争取找到最优解。

# 调参RF

param_grid = {}

param_grid['n_estimators'] = [10,100,150,200]

model = RandomForestClassifier()

kfold = KFold(n_splits=num_folds,random_state= seed)

grid = GridSearchCV(estimator=model,param_grid = param_grid, scoring = scoring,cv = kfold)

grid_result = grid.fit(X =X_train_counts_tf,y = dataset_train.target)

print('最优：%s 使用%s'%(grid_result.best_score_,grid_result.best_params_))

调参之后的最优结果如下：

8. 确定最终模型

通过对算法的比较和调参发现，逻辑回归算法具有最高的准确度，因此使用逻辑回归算法生成算法模型。接下来会利用评估数据集对生成的模型进行验证，以确认模型的准确度。需要注意的是，为了保持数据特征的一致性，对新数据进行文本特征提取是应进行特征扩充，下面使用之前生成的tf_transformer的transform方法来处理评估数据集。

# 生成模型

model = LogisticRegression(C = 15)

model.fit(X_train_counts_tf,dataset_train.target)

X_test_counts = tf_transformer.transform(dataset_test.data)

predictions = model.predict(X_test_counts)

print(accuracy_score(dataset_test.target, predictions))

print(classification_report(dataset_test.target, predictions))

从结果可以看到，准确度大概达到了85%，与期待的结果比较一致。执行结果：

参考从书：《机器学习Python实践》 魏贞原