基于逻辑回归方法完成垃圾邮件过滤任务

---

案例实战：基于逻辑回归方法完成垃圾邮件过滤任务

1、任务描述

我们日常学习以及工作中会收到非常多的邮件，除了与学习工作相关的邮件，还会收到许多垃圾邮件，包括广告邮件、欺诈邮件等等。本任务通过邮件中包含的文本内容来判断该邮件是正常邮件（ham）还是垃圾邮件（spam），来实现自动化垃圾邮件过滤，是一种典型的文本分类任务。

2、数据集

该数据集包含5574条邮件，所有邮件都被标记为正常邮件（ham）或者垃圾邮件（spam）。

3、方法概述

4、数据可视化及数据预处理

下载下来的数据集是csv格式的，每条数据有两列，分别是文本内容和对应的标签（ham or spam）。我们首先利用python的pandas库读取csv文件中的数据，然后先对数据进行简单分析，然后对数据进行预处理，最后是将文本内容向量化，文本向量化后才可以利用算法模型进行文本分类任务。整体步骤总结如下：

• （1）读取数据
• （2）数据分析
• （3）数据可视化
• （4）数据预处理
• （5）数据向量化

4.1 读取数据

我们首先通过pandas工具包的read_csv()方法来读取csv格式的数据集文件，读取为dataframe格式的数据
通过dropna去除掉其中为空值的数据
通过head()方法来查看dataframe中的前五条数据
可以看到每条训练数据都有对应的标签label和对应的文本内容message。

import pandas as pd

sms=pd.read_csv('data.csv',encoding='latin-1')
sms=sms[['v1','v2']]
sms.columns=['label','message']
sms.head()

4.2 数据分析

利用groupby()方法来组合ham类和spam类的数据，然后通过describe()方法来查看基本统计数据；可以看到ham类一共有4825条数据，非重复数据有4516条；spam类一共有747条数据，非重复数据一共有653条

sms.groupby('label').describe()

将标签数值化，进行算法模型训练

sms['label_num']=sms.label.map({
     'ham':0,'spam':1})
sms.head()

统计每条数据中的message的文本长度

sms['message_len']=sms.message.map(len)
sms.head()

4.3 数据可视化

import matplotlib.pyplot as plt
sms[sms.label=='ham'].message_len.plot(bins=35,kind='hist',color='blue',label='Ham Message',alpha=0.6)
sms[sms.label=='spam'].message_len.plot(kind='hist',color='red',label='Spam Message',alpha=0.6)
plt.legend()
plt.xlabel('Message Length')

import seaborn as sns
sns.histplot(sms[sms.label=='ham'].message_len,bins=35,color='blue')
sns.histplot(sms[sms.label=='spam'].message_len,bins=35,color='red')

4.4 数据预处理

文本预处理是自然语言处理中的关键步骤，在本案例中本文预处理包括：1、移除所有标点符号；2、移除所有的通用词，如"the", "a"等。在正常邮件和垃圾邮件中，标点符号和通用词汇的数量和类型是相似的，因此这些文本内容并不能起很好的区分作用，属于“无关特征”，需要利用预处理的手段将这些无关特征移除。

import nltk
nltk.download('stopwords')

from nltk.corpus import stopwords
stopword=stopwords.words('english')

import string
def text_process(message):
	string_message=[char for char in message if char not in string.punctuation]
    
    string_message=''.join(string_message)
    
    return ' '.join([word for word in string_message.split() if word not in stopword+['u', 'ü', 'ur', '4', '2', 'im', 'dont', 'doin', 'ure']])

利用map()方法将上面定义的函数应用到数据中message中，得到预处理后的数据clean_msg。

sms['clean_msg'] = sms.message.map(text_process)
sms.head()

4.5 数据集划分和向量化

x=sms.clean_message
y=sms.label

CountVectorizer统计词频矩阵

在词袋模型统计词频的时候，可以使用sklearn中的CountVectorizer来完成。

CountVectorizer类会将文本中的词语转换为词频矩阵，例如矩阵中包含一个元素a[i][j]，它表示j词在i类文本下的词频。它通过fit_transform函数首先统计有多少词语出现，然后计算词语出现的次数，形成词频矩阵。训练集用fit_transform方法，测试集用transfrom方法。

from sklearn.feature_extraction.text import CountVectorizer
x=CountVectorizer().fit_transform(x)
# from sklearn.feature_extraction.text import TfidfTransformer
# x=TfidfTransformer().fit_transform(x)

利用sklearn工具中的train_test_split方法将数据划分为训练集和测试集。
利用该方法划分可以保证训练集和测试集有一致的分布（不同类别的数据比例相近）。
其中random_state用来指定随机种子，保证每次划分的训练集和测试集都是一样的。

from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)

5、模型训练

在完成数据预处理以及向量化后，接下来就是构建算法模型，完成模型的训练和结果预测，整体流程如下：

• （1）加载模型
• （2）训练模型
• （3）预测结果

5.1 加载模型

from sklearn.metrics import accuracy_score 
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.linear_model import LogisticRegression
import lightgbm as lgb
from sklearn.svm import SVC

5.2 训练模型

clf_dtc=DecisionTreeClassifier()
clf_dtc.fit(x_train,y_train)
score_dtc=accuracy_score(y_test,clf_dtc.predict(x_test))

clf_rfc=RandomForestClassifier(n_estimators=200)
clf_rfc.fit(x_train,y_train)
score_rfc=accuracy_score(y_test,clf_rfc.predict(x_test))

clf_log=LogisticRegression(solver='liblinear')
clf_log.fit(x_train,y_train)
score_log=accuracy_score(y_test,clf_log.predict(x_test))

clf_svc=SVC(kernel='sigmoid', gamma=1.0)
clf_svc.fit(x_train,y_train)
score_svc=accuracy_score(y_test,clf_svc.predict(x_test))

# clf_lgb=lgb.LGBMClassifier()
# clf_lgb.fit(x_train,y_train)
# score_lgb=accuracy_score(y_test,clf_lgb.predict(x_test))

print(score_dtc,score_rfc,score_log,score_svc)

5.3 预测结果

score_dtc=accuracy_score(y_test,clf_dtc.predict(x_test))

score_rfc=accuracy_score(y_test,clf_rfc.predict(x_test))

score_log=accuracy_score(y_test,clf_log.predict(x_test))

score_svc=accuracy_score(y_test,clf_svc.predict(x_test))

6、模型评估

完成模型训练以及测试集的结果预测后，需要评估模型的性能，包括：

• （1）计算测试集分类准确率
• （2）预测结果的展示

6.1 测试集准确率

分类准确率是指所有分类正确的百分比。
准确率 = 分类正确的样本数 / 总样本数
这里可以直接使用sklearn工具中的metrics.accuracy_score()计算分类准确率。

from sklearn import metrics
# 逻辑回归准确率
score_log=accuracy_score(y_test,clf_log.predict(x_test))
score_log

6.2 不同分类器的结果分析

pred_score=[('DecisionTree',[score_dtc]),
           ('RandomForest',[score_rfc]),
           ('Logistic',[score_log]),
           ('SVM',[score_svc])]
df=pd.DataFrame.from_dict(dict(pred_score),orient='index',columns=['Score'])
df.plot(kind='bar',ylim=(0.7,1),figsize=(8,6),align='center',colormap='Accent')
plt.ylabel('Accurancy Score')
plt.title('Distribution by Classifier')
plt.legend()
plt.show()

可以看到，线性分类器（逻辑回归）的准确率较高。

6.3 预测结果展示

clf_log.predict(x_test)[0:100]