机器学习 之 决策树与随机森林的实现

引言

随着互联网技术的发展，垃圾邮件过滤已成为一项重要的任务。机器学习技术，尤其是决策树和随机森林，在解决这类问题时表现出色。本文将介绍随机森林的基本概念，并通过一个具体的案例——筛选垃圾电子邮件——来展示随机森林的实际应用。

随机森林简介

随机森林是一种基于决策树的集成学习方法，它通过构建多个决策树并综合它们的预测结果来提高准确性和防止过拟合。随机森林的工作原理主要包括以下几个步骤：

1. 自助采样：从原始数据集中通过有放回的方式抽取多个子样本集。
2. 构建决策树：在每个子样本集上独立地构建一棵决策树。
3. 随机特征选择：在构建每棵树的过程中，每个节点的分裂都是从所有特征的一个随机子集中选出最优特征。
4. 投票机制：对于分类任务，每棵树都会对新样本给出一个预测类别，最终的预测类别是所有树预测结果的多数表决结果。

随机森林的优点包括：

• 鲁棒性：由于使用了多棵决策树，单棵树的错误不会影响整体预测结果。
• 易于实现：随机森林的实现相对简单，并且不需要太多的参数调整。
• 并行计算：每棵树可以独立构建，这使得随机森林非常适合于并行计算环境。
• 特征重要性：可以评估特征的重要性，帮助选择最具影响力的特征。

实验数据介绍

本次实验使用的数据集名为 spambase.xlsx。数据集包含了用于识别垃圾邮件的特征，其中包括：

• 单词频率 (Word_freq_make, Word_freq_address, 等)：特定单词在邮件中出现的频率。
• 字符频率 (Char_freq1, Char_freq2, 等)：特定字符在邮件中出现的频率。
• 大写字母连续长度统计 (Capital_run_length_average, Capital_run_length_longest, 等)：大写字母连续出现的平均长度和最长长度。
• 标签 (label)：邮件是否为垃圾邮件，0表示非垃圾邮件，1表示垃圾邮件。

实例：随机森林实现垃圾邮件筛选

加载数据

首先，我们需要使用Pandas库加载Excel文件中的数据。

import pandas as pd

# 读取数据
df = pd.read_csv('spambase.csv')

# 分割特征和标签
X = df.iloc[:, :-1]  # 特征列
y = df.iloc[:, -1]   # 标签列

划分数据集

接着，我们将数据集分为训练集和测试集。

from sklearn.model_selection import train_test_split

# 划分数据集
xtrain, xtest, ytrain, ytest = \
    train_test_split(X, y, test_size=0.2, random_state=100)

构建随机森林模型

现在，我们使用RandomForestClassifier类构建一个随机森林模型，并设置相关的超参数

from sklearn.ensemble import RandomForestClassifier

# 创建随机森林分类器
rf = RandomForestClassifier(
    n_estimators=108,  # 决策树的数量
    max_features=0.8,  # 最大特征数量比例
    random_state=0     # 随机种子
)

# 训练模型
rf.fit(xtrain, ytrain)

模型评估

最后，我们将评估模型在训练集和测试集上的表现。

from sklearn import metrics
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix

# 定义混淆矩阵函数
def cm_plot(y, yp):
    cm = confusion_matrix(y, yp)

    plt.matshow(cm, cmap=plt.cm.Blues)
    plt.colorbar()

    for x in range(len(cm)):
        for y in range(len(cm)):
            plt.annotate(cm[x, y], xy=(y, x), horizontalalignment='center',
                         verticalalignment='center')

    plt.ylabel('True label')  # 真实标签
    plt.xlabel('Predicted label')  # 预测标签
    return plt

# 在训练集上进行预测
train_predicted = rf.predict(xtrain)

# 输出训练集上的分类报告
print("Training Set Classification Report:")
print(metrics.classification_report(ytrain, train_predicted))

# 绘制训练集上的混淆矩阵
cm_plot(ytrain, train_predicted).show()

# 在测试集上进行预测
test_predicted = rf.predict(xtest)

# 输出测试集上的分类报告
print("Test Set Classification Report:")
print(metrics.classification_report(ytest, test_predicted))

# 绘制测试集上的混淆矩阵
cm_plot(ytest, test_predicted).show()

 输出结果：

训练集各指标报告:

训练集混淆函数： 

预测集各指标报告：

预测集混淆矩阵

结论

随机森林是一种强大的机器学习算法，能够有效地处理分类和回归任务。通过上述代码，我们已经成功地使用随机森林对spambase.xlsx数据集进行了训练和评估。从输出的分类报告和混淆矩阵中可以看出模型的性能情况。随机森林因其简单易用和高效的特点，在许多实际应用中都取得了很好的效果。