机器学习基础14-算法调参（基于印第安糖尿病Pima数据集）

机器学习的模型都是参数化的，可以通过调参来提高模型的准确度。
模型有很多参数，如何找到最佳的参数组合，可以把它当作一个查询问题来处理，但是调整参数到何时为止呢？应该遵循偏差和方差协调的原则。

接下来将介绍在 scikit-learn 中设置机器学习模型最佳参数的方法。

1. 调整参数对机器学习算法的重要性。
2. 如何使用网格搜索优化参数？
3. 如何使用随机搜索优化参数？

机器学习算法调参

调整算法参数是采用机器学习解决问题的最后一个步骤，有时也被称为超参数优化。学会调参是进行机器学习项目的前提，但第一次遇到这些算法和模型时，肯定会被其大量的参数吓到。其实，参数可分为两种：一种是影响模型在训练集上的准确度或防止过拟合能力的参数；另一种是不影响这两者的参数。模型在样本总体上的准确度由其在训练集上的准确度及其防止过拟合的能力共同决定，所以在调参时主要针对第一种参数进行调整，最终达到的效果是：模型在训练集上的准确度和防止过拟合能力的大和谐。

下面将介绍两种自动寻找最优化参数的算法：
· 网格搜索优化参数。
· 随机搜索优化参数。

网格搜索优化参数

网格搜索优化参数是一种算法参数优化的方法。它是通过遍历已定义参数的列表，来评估算法的参数，从而找到最优参数。在scikit-learn中使用GridSearchCV来实现对参数的跟踪、调整与评估，从而找到最优参数。网格搜索优化参数适用于三四个（或更少）的超参数（当超参数的数量增加时，网格搜索的计算复杂度会呈现指数型增长，这时要换用随机搜索），由用户列出一个较小的超参数值域，这些超参数值域的笛卡尔集（排列组合）为一组组超参数。网格搜索算法使用每组超参数训练模型，并挑选验证集误差最小的超参数组合。下面的例子是展示如何使用 GridSearchCV 来调整脊回归（Ridge）的参数。GridSearchCV使用字典对象来指定需要调参的参数，可以同时对一个或多个参数进行调参。

代码如下：

import pandas as pd
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV

#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)

#打印标签名称
print(data.columns)

#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]

Y = array[:, 8]

model = Ridge()
#设置参数，进行网格搜索，寻找最优参数，这里只设置了一个参数，实际中可以设置多个参数，如下
param_grid = {'alpha': [1, 0.1, 0.01, 0.001, 0.0001]}
#网格搜索，找到最优参数，这里使用了10折交叉验证，可以自己设置，如5折交叉验证，这里使用了全部的数据，也可以自己设置
grid = GridSearchCV(estimator=model, param_grid=param_grid)

grid.fit(X, Y)

print("最优分数：%.3f" % grid.best_score_)
print("最优参数：", grid.best_estimator_.alpha)

param_grid是一个字典对象，以算法的参数名为key，需要遍历的参数值列表为value。在验证算法最优参数的网格搜索算法中，可以设定多个key：value对，同时查询多个参数的最优参数值。

执行结果如下：

最优分数：0.276
最优参数： 1

---

随机搜索优化参数

随机搜索优化参数是另一种对算法参数优化的方法。随机搜索优化参数通过固定次数的迭代，采用随机采样分布的方式搜索合适的参数。与网格搜索优化参数相比，随机搜索优化参数提供了一种更高效的解决方法（特别是在参数数量多的情况下），随机搜索优化参数为每个参数定义了一个分布函数，并在该空间中采样。在 scikit-learn 中通过RandomizedSearchCV类实现。

下面的例子是通过RandomizedSearchCV对脊回归算法的参数进行100次迭代，并从中选择最优的参数。

SciPy中的uniform是一个均匀随机采样函数，默认生成0与1之间的随机采样数值。在这里利用uniform对参数进行随机采样。

代码如下：

import pandas as pd
from scipy.stats import uniform
from sklearn.linear_model import Ridge

from sklearn.model_selection import GridSearchCV, RandomizedSearchCV

#数据预处理
path = 'D:\down\\archive\\diabetes.csv'
data = pd.read_csv(path)

#打印标签名称
print(data.columns)

#将数据转成数组
array = data.values
#分割数据，去掉最后一个标签
X = array[:, 0:8]

Y = array[:, 8]

model = Ridge()

param_grid = {'alpha': uniform()}

grid = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100, random_state=7)

grid.fit(X, Y)

print("最高得分：%.3f" % grid.best_score_)
print("最优参数：", grid.best_estimator_.alpha)

执行结果如下：

最高得分：0.276
最优参数： 0.9779895119966027

调参是算法模型生成之前很重要的一步，上面介绍了两种选择最优参数的方法：网格搜索优化参数和随机搜索优化参数。

如果算法的参数少于三个，推荐使用网格搜索优化参数；如果需要优化的参数超过三个，推荐使用随机搜索优化参数。

下一节将介绍如何生成模型，以及如何保存和载入已生成的模型。