Python 机器学习 交叉验证、网格搜索

Python 的机器学习项目中,交叉验证(Cross-Validation)和网格搜索(Grid Search)是两种重要的技术,通常用于模型选择和超参数优化。交叉验证和网格搜索也是机器学习中常用的两种技术,可以有效地提高模型的性能。

1、交叉验证(Cross-Validation)

交叉验证是一种评估模型泛化性能的方法。它涉及将数据集分成几个部分,通常是“折叠”(folds),然后将模型在一个折叠上进行测试,而在其余的折叠上进行训练。这个过程会重复多次,每次选择不同的折叠作为测试集。Python 的 scikit-learn 库中,提供了多种交叉验证的方法和工具。

1)K折交叉验证

数据集被分为K个大小相同的子集。每个子集轮流作为验证集,其余的K-1个子集用于训练。使用 scikit-learn 库中cross_val_score() 进行 K 折交叉验证,cross_val_score() 函数是一个非常有用的工具,用于评估机器学习模型的性能。通过交叉验证,它可以估算模型在未知数据上的表现。常用参数如下,

参数

描述

estimator

评估的机器学习模型。必须是拟合数据并计算分数的对象。例如:分类器

RandomForestClassifier()

X

用于训练模型的数据。类数组类型,如 NumPy 数组或 Pandas DataFrame。

y

目标变量。类数组类型。

groups

用于分组交叉验证的标签。类数组类型。

scoring

评估模型性能的评分标准。字符串、可调用对象或 None。例如:'accuracy', 'neg_mean_squared_error', 'roc_auc' 等。

cv

交叉验证拆分策略。整数、交叉验证生成器或可迭代对象。例如:整数 k(k 折交叉验证),

KFold

对象等。

n_jobs

并行执行交叉验证的作业数。整数,表示使用的 CPU 核心数。-1 表示使用所有可用的核心。

verbose

详细程度。整数。较高的数值表示更详细的输出。

fit_params

传递给估计器的 fit 方法的额外参数。字典。

pre_dispatch

在并行执行之前,预先分派的作业数。整数或字符串。例如:'2*n_jobs'。

使用代码:

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from sklearn.datasets import make_classification

# 创建一个简单的数据集
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

# 创建随机森林分类器实例
clf = RandomForestClassifier(random_state=42)

# 使用 cross_val_score 进行交叉验证
scores = cross_val_score(
    estimator=clf,  # 使用的评估器
    X=X,            # 特征数据
    y=y,            # 目标数据
    groups=None,    # 没有用于分组的标签
    cv=5,           # 5折交叉验证
    scoring='accuracy',  # 使用准确率作为评分标准
    n_jobs=-1,      # 使用所有可用的 CPU 核心
    verbose=0,      # 不输出详细信息
    fit_params=None, # 没有额外的 fit 方法参数
    pre_dispatch='2*n_jobs'  # 在并行执行之前预先分派的作业数
)

# 打印每折的分数
print("Accuracy scores for each fold:", scores)

2)留一交叉验证(LOOCV)

对于数据集中的每一个数据点,模型都会在除了这个点之外的所有数据上进行训练,然后在这个点上进行测试。可以使用 scikit-learn 库中LeaveOneOut() 进行留一交叉验证。

from sklearn.model_selection import LeaveOneOut
from sklearn.svm import SVC
import numpy as np
from sklearn.datasets import load_iris

# 加载鸢尾花数据集
iris = load_iris()

# 定义模型
model = SVC()

# 定义留一交叉验证
loo = LeaveOneOut()

# 训练和评估模型
scores = []
for train_index, test_index in loo.split(iris.data):
  X_train, X_test = iris.data[train_index], iris.data[test_index]
  y_train, y_test = iris.target[train_index], iris.target[test_index]
  model.fit(X_train, y_train)
  score = model.score(X_test, y_test)
  scores.append(score)

# 计算平均得分
average_score = np.mean(scores)

print(f"平均得分:{average_score}")

2、网格搜索(Grid Search)

网格搜索是一种寻找最优模型参数(超参数)的方法。它会系统地遍历多种参数的组合,通过交叉验证来评估每种组合的效果,从而找到最佳的参数设置。scikit-learn 库中 GridSearchCV() 用于对估计器的参数值进行穷举搜索,以找到最优的参数组合。常用参数如下,

参数

描述

estimator

用于网格搜索的估计器对象。

param_grid

一个字典或字典列表,定义了要搜索的参数及其可能的值。

scoring

用于评估参数组合的性能的评分策略。

n_jobs

指定并行运行的作业数。

cv

交叉验证生成器或可迭代的次数。

refit

找到最优参数后,是否用整个数据集重新训练模型。

verbose

控制搜索过程中输出的详细程度。

pre_dispatch

控制分派到并行执行的作业总数。

error_score

设置在参数设置导致错误时要赋予的分数。

return_train_score

如果设置为 True,将包括训练分数。

使用代码:Python 机器学习 交叉验证、网格搜索-CJavaPy

你可能感兴趣的:(python,机器学习,开发语言)