模式识别与机器学习（十二）：随机森林

原理

随机森林(Random Forest, RF)是Bagging的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上，在决策树的训练过程中引入随机属性选择。训练每颗决策树时随机选出部分特征作为输入，所以该算法被称为随机森林算法。

在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集（假定有d个属性），然后再从这个子集中选择一个最优属性用于划分。参数k控制了随机性的引入程度，一般情况下推荐$\mathrm{k}={\log }_2\mathrm{d}$。随机森林的具体形式如下图：

假设训练集 T 的大小为 N ，特征数目为 M ，随机森林的大小为 K ，随机森林算法的具体步骤如下：

1.遍历随机森林的大小 K 次：

(1).从训练集 T 中有放回抽样的方式，取样N 次形成一个新子训练集 D

(2).随机选择 m 个特征，其中 m < M

(3).使用新的训练集 D 和 m 个特征，学习出一个完整的决策树

2.得到随机森林

实现

from sklearn.model_selection import KFold
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
import numpy as np

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# 创建5折交叉验证器
kf = KFold(n_splits=5, random_state=42, shuffle=True)

# 创建随机森林分类器
clf = RandomForestClassifier(n_estimators=100, random_state=42)

# 存储每折的准确率
accuracies = []

# 进行5折交叉验证
for train_index, test_index in kf.split(X):
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

    # 训练模型
    clf.fit(X_train, y_train)

    # 预测测试集
    y_pred = clf.predict(X_test)

    # 计算准确率
    accuracy = accuracy_score(y_test, y_pred)
    accuracies.append(accuracy)

# 计算平均准确率
average_accuracy = np.mean(accuracies)
print(f'Average accuracy: {average_accuracy}')

这段代码首先加载了鸢尾花数据集，并创建了一个5折交叉验证器和一个随机森林分类器。然后，对每一折的数据进行训练和测试，并计算了每一折的准确率。最后，计算了平均准确率。