【AI】使用Python实现机器学习小项目教程

引言

在本教程中，我们将带领您使用Python编程语言实现一个经典的机器学习项目——鸢尾花（Iris）分类。通过这个项目，您将掌握机器学习的基本流程，包括数据加载、预处理、模型训练、评估和优化等步骤。

论文AIGC检测，降AIGC检测，AI降重，三连私信免费获取：

• Reduce AIGC 9折券！
• Detect AIGC 立减2元券！
• AI降重9折券！

一、项目背景与目标

鸢尾花数据集是机器学习领域中广泛使用的标准数据集，包含150个样本，分为三类，每类50个样本，每个样本有四个特征：萼片长度、萼片宽度、花瓣长度和花瓣宽度。我们的目标是根据这些特征，预测鸢尾花的种类。

二、开发环境准备

2.1 所需工具

• Python版本：建议使用Python 3.8及以上版本。
• 开发环境：推荐使用Jupyter Notebook，方便进行交互式开发和数据分析。
• 核心库：安装以下Python库用于数据处理和机器学习建模：
  • numpy：用于科学计算。
  • pandas：用于数据处理和分析。
  • matplotlib：用于数据可视化。
  • seaborn：基于matplotlib的统计数据可视化库。
  • scikit-learn：用于机器学习建模和评估。

2.2 环境搭建

使用pip安装所需的核心库：

pip install numpy pandas scikit-learn matplotlib seaborn jupyter

2.3 库版本验证

在开始之前，验证各个库的版本，以确保环境配置正确：

import sys
import numpy as np
import pandas as pd
import sklearn

print(f"Python版本: {sys.version[:5]}")
print(f"Numpy版本: {np.__version__}")
print(f"Pandas版本: {pd.__version__}")
print(f"Scikit-learn版本: {sklearn.__version__}")

三、数据加载与预处理

3.1 数据集介绍

鸢尾花数据集包含150个样本，每个样本有四个特征和一个类别标签。特征包括：

• 萼片长度（sepal length）
• 萼片宽度（sepal width）
• 花瓣长度（petal length）
• 花瓣宽度（petal width）

类别标签有三类，分别为：

• Setosa
• Versicolor
• Virginica

3.2 数据加载

使用scikit-learn提供的load_iris函数加载数据集，并将其转换为pandas的DataFrame格式，方便后续处理：

from sklearn.datasets import load_iris
import pandas as pd

# 加载鸢尾花数据集
iris = load_iris()
# 创建DataFrame
df = pd.DataFrame(data=iris.data, columns=iris.feature_names)
df['species'] = iris.target
df['species'] = df['species'].map({0: 'Setosa', 1: 'Versicolor', 2: 'Virginica'})

3.3 数据探索与可视化

使用seaborn和matplotlib对数据进行探索性分析，了解数据的分布和特征之间的关系：

import seaborn as sns
import matplotlib.pyplot as plt

# 设置绘图风格
sns.set(style="whitegrid")
# 绘制特征之间的关系图
sns.pairplot(df, hue='species', markers=["o", "s", "D"])
plt.show()

四、特征工程与数据分割

4.1 特征选择与标准化

虽然鸢尾花数据集的特征已经比较干净，但在实际应用中，可能需要进行特征选择和标准化处理，以提高模型的性能。这里我们使用StandardScaler对特征进行标准化，使其均值为0，标准差为1：

from sklearn.preprocessing import StandardScaler

# 初始化标准化器
scaler = StandardScaler()
# 选择特征列
features = iris.feature_names
# 标准化特征
X = scaler.fit_transform(df[features])
# 目标变量
y = df['species']

4.2 数据集划分

将数据集划分为训练集和测试集，通常使用70%的数据用于训练，30%的数据用于测试：

from sklearn.model_selection import train_test_split

# 划分数据集，70%训练，30%测试
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

五、模型训练与评估

5.1 选择模型

我们将使用多种机器学习算法进行比较，包括：

• 逻辑回归（Logistic Regression）
• 线性判别分析（Linear Discriminant Analysis）
• K近邻算法（K-Nearest Neighbors）
• 决策树（Decision Tree）
• 朴素贝叶斯（Naive Bayes）
• 支持向量机（Support Vector Machine）

5.2 模型训练与交叉验证

使用scikit-learn的cross_val_score进行交叉验证，评估模型的性能：

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC

# 初始化模型
models = {
    'Logistic Regression': LogisticRegression(max_iter=200),
    'LDA': LinearDiscriminantAnalysis(),
    'KNN': KNeighborsClassifier(),
    'Decision Tree': DecisionTreeClassifier(),
    'Naive Bayes': GaussianNB(),
    'SVM': SVC()
}

# 评估每个模型
results = {}
for name, model in models.items():
    cv_results = cross_val_score(model, X_train, y_train, cv=10, scoring='accuracy')
    results[name] = cv_results
    print(f'{name}: {cv_results.mean():.4f} ({cv_results.std():.4f})')

5.3 模型比较

将不同模型的交叉验证结果绘制成箱线图，直观比较模型性能：

import matplotlib.pyplot as plt

# 绘制箱线图
plt.figure(figsize=(10, 6))
plt.boxplot(results.values(), labels=results.keys())
plt.title('模型比较')
plt.ylabel('准确率')
plt.show()

六、模型优化与调参

6.1 K近邻（KNN）优化

K近邻算法的性能很大程度上依赖于邻居的数量（n_neighbors）。我们可以通过交叉验证来选择最佳的n_neighbors值。使用GridSearchCV可以帮助我们自动找到最优超参数。

from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifier

# 设置KNN模型参数网格
param_grid = {'n_neighbors': range(1, 21)}
knn = KNeighborsClassifier()

# 使用GridSearchCV搜索最佳参数
grid_search = GridSearchCV(knn, param_grid, cv=10, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数和得分
print(f"最佳邻居数量: {grid_search.best_params_['n_neighbors']}")
print(f"最佳交叉验证得分: {grid_search.best_score_:.4f}")

6.2 决策树优化

决策树的性能受到树的深度、最小样本分割数等超参数的影响。我们也可以使用GridSearchCV来调整这些超参数。

from sklearn.tree import DecisionTreeClassifier

# 设置决策树参数网格
param_grid = {
    'max_depth': range(1, 11),
    'min_samples_split': range(2, 11)
}
dt = DecisionTreeClassifier()

# 使用GridSearchCV搜索最佳参数
grid_search = GridSearchCV(dt, param_grid, cv=10, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数和得分
print(f"最佳树深度: {grid_search.best_params_['max_depth']}")
print(f"最佳最小样本分割数: {grid_search.best_params_['min_samples_split']}")
print(f"最佳交叉验证得分: {grid_search.best_score_:.4f}")

6.3 支持向量机优化

支持向量机（SVM）的性能可以通过调整核函数（kernel）和正则化参数（C）来优化。

from sklearn.svm import SVC

# 设置SVM模型参数网格
param_grid = {
    'C': [0.1, 1, 10, 100],
    'kernel': ['linear', 'rbf', 'poly']
}
svm = SVC()

# 使用GridSearchCV搜索最佳参数
grid_search = GridSearchCV(svm, param_grid, cv=10, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数和得分
print(f"最佳C值: {grid_search.best_params_['C']}")
print(f"最佳核函数: {grid_search.best_params_['kernel']}")
print(f"最佳交叉验证得分: {grid_search.best_score_:.4f}")

6.4 模型评估

通过调参后的模型，可以使用测试集来评估最终模型的表现。我们将计算准确率、混淆矩阵以及分类报告来评估模型的效果。

from sklearn.metrics import accuracy_score, confusion_matrix, classification_report

# 使用最佳模型预测
best_model = grid_search.best_estimator_

# 在测试集上进行预测
y_pred = best_model.predict(X_test)

# 输出评估指标
print(f"准确率: {accuracy_score(y_test, y_pred):.4f}")
print("混淆矩阵:")
print(confusion_matrix(y_test, y_pred))
print("分类报告:")
print(classification_report(y_test, y_pred))

总结与展望

7.1 总结

通过本项目，我们实现了对鸢尾花数据集的机器学习分类任务，完成了以下几个关键步骤：

1. 数据加载和探索：使用pandas和seaborn对数据进行探索性分析，了解数据分布及特征之间的关系。
2. 特征预处理：使用StandardScaler对特征进行标准化，使得数据适应模型训练。
3. 模型训练与评估：我们使用了多种机器学习算法，并通过交叉验证来评估模型的性能。
4. 模型优化：通过GridSearchCV进行超参数调优，找到了最优的模型超参数。
5. 最终评估：在测试集上评估优化后的模型，得到准确率、混淆矩阵和分类报告。

7.2 展望

在本项目中，我们使用了基本的机器学习模型和优化技巧。接下来，您可以考虑以下方向进行扩展：

1. 更多数据预处理：除了标准化外，还可以尝试其他数据预处理方法，如PCA降维、特征选择等。
2. 深度学习应用：对于更复杂的数据集，可以尝试使用深度学习模型，如神经网络进行分类任务。
3. 模型集成：结合多个模型的结果，通过集成学习（如随机森林、梯度提升树）提升分类性能。
4. 部署模型：可以尝试将训练好的模型部署到实际应用中，例如通过Flask或FastAPI构建一个API服务，进行实时预测。

通过这种方式，您将更深入地理解机器学习的实际应用，并能够将学到的知识应用到其他领域和项目中。

祝你在机器学习的道路上越走越远！

---