【大数据专业】机器学习分类模型评估和优化之交叉验证的多种方法
学习目标：
机器学习：
分类评估模型及优化之交叉验证
交叉验证的三种基本方法：
1、将拆分与评价合并执行
sklearn.model_selection.cross_val_score
2、同时使用多个评价指标
sklearn.model_selection.cross_validate
3、使用交叉验证后的模型进行预测
sklearn.model_selection.cross_val_predict
基本内容：
交叉验证
一种常用的模型选择方法是交叉验证(cross validation)。
如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分成三部分，分别为训练集(training set)、验证集(validation set) 和测试集(test set)。训练集用来训练模型，验证集用于模型的选择，而测试集用于最终对学习方法的评估。在学习到的不同复杂度的模型中，选择对验证集有最小预测误差的模型。由于验证集有足够多的数据，用它对模型进行选择也是有效的。
但是，在许多实际应用中数据是不充足的。为了选择好的模型，可以采用交叉验
证方法。交叉验证的基本想法是重复地使用数据;把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择。
1、简单交叉验证：
简单交叉验证方法是:首先随机地将已给数据分为两部分，一部分作为训练集，另一部分作 为测试集(例如，70%的数据为训练集，30%的数据为测试集);然后用训练集在各种条件下(例如，不同的参数个数)训练模型,从而得到不同的模型:在测试集上评价各个模型的测试误差，选出测试误差最小的模型。
2、S折交叉验证：
应用最多的是s折交叉验证(S-fold cross validation)，方法如下:首先随机地将已给数据切分为S个互不相交、大小相同的子集;然后利用S- 1个子集的数据训练模型，利用余下的子集测试模型；将这-过程对可 能的s种选择重复进行：最后选出S次评测中平均测试误差最小的模型。
3、留一交叉验证
S折交叉验证的特殊情形是S = N,称为留一交叉验证(leave-one-out cross validation)，往往在数据缺乏的情况下使用。这里，N是给定数据集的容量。
模型评估：
实验过程：
一、将拆分与评价合并执行
1、导入所需的数据库
from sklearn import model_selection
2、导入波士顿房价数据集
from sklearn.datasets import load_boston
boston = load_boston()
3、导入线性模型并进行实例化
#导入线性模型
from sklearn.linear_model import LinearRegression
#实例化
reg = LinearRegression()
4、导入交叉验证模型
from sklearn.model_selection import cross_val_score
5、进行交叉验证
scores = cross_val_score(reg,boston.data,boston.target,cv = 10)#reg模型 boston.data 验证的数据 cv测试次数
scores
结果为：
array([ 0.73376082, 0.4730725 , -1.00631454, 0.64113984, 0.54766046,
0.73640292, 0.37828386, -0.12922703, -0.76843243, 0.4189435 ])
scores.mean(),scores.std()
结果为：
(0.20252899006056163, 0.5952960169512315)
scores = cross_val_score(reg,boston.data,boston.target,scoring = 'explained_variance',cv = 10)
scores
结果为：
array([ 0.74784412, 0.5381936 , -0.80757662, 0.66844779, 0.5586898 ,
0.74128804, 0.41981565, -0.11666214, -0.44561819, 0.42197365])
scores.mean()
结果为：
0.2726395697941379
【注意】：
样本中案例顺序如果非随机，将会对模型验证带来严重的影响。因此需要保证案例顺序的随机性。
通过对数据进行随机排序，重新进行交叉验证
1.1、对数据进行随机编排，保证拆分的均匀性
import numpy as np
X,y = boston.data,boston.target
indices = np.arange(y.shape[0])
np.random.shuffle(indices)
X,y = X[indices],y[indices]
1.2、导入线性模型并进行实例化
#导入线性模型
from sklearn.linear_model import LinearRegression
#实例化
reg = LinearRegression()
1.3、导入交叉验证库并进行交叉验证
from sklearn.model_selection import cross_val_score
scores = cross_val_score(reg,X,y,cv = 10)
scores
结果为：
array([0.55846953, 0.81187287, 0.62829828, 0.78075856, 0.76837108,
0.83054805, 0.74590663, 0.45446651, 0.69433869, 0.5928207 ])
scores.mean(),scores.std()
结果为：
(0.6865850907284173, 0.11749079152594104)
二、同时使用多个评价指标
cross_validate函数使用的参数基本和cross_val_score相同，但功能上有以下扩展： 1、可以指定多个指标对模型进行评估 2、除测试集得分外，还会返回一个包含训练得分，拟合次数，得分次数的字典
1、导入相应的交叉验证库并进行实例
from sklearn.model_selection import cross_validate
scoring = ['r2','explained_variance']
scores = cross_validate(reg,X,y,cv = 10,scoring = scoring,return_train_score = False)
scores
结果为：
{'fit_time': array([0.0029912 , 0.00099635, 0.00099587, 0.00099659, 0. ,
0.00099707, 0.00099683, 0.0009954 , 0.00099564, 0. ]),
'score_time': array([0. , 0.00099707, 0. , 0. , 0.00099707,
0. , 0.00099659, 0.00099707, 0.00099659, 0.00099659]),
'test_r2': array([0.55846953, 0.81187287, 0.62829828, 0.78075856, 0.76837108,
0.83054805, 0.74590663, 0.45446651, 0.69433869, 0.5928207 ]),
'test_explained_variance': array([0.55901873, 0.81190504, 0.64414581, 0.7837994 , 0.79016637,
0.83990847, 0.76482864, 0.46429681, 0.69911918, 0.60911221])}
2、交叉验证结果
scores["test_r2"].mean()
结果为：
0.6865850907284173
三、使用交叉验证后的模型进行预测
1、导入交叉验证相应的库
from sklearn.model_selection import cross_val_predict
2、实例化并进行交叉验证
pred = cross_val_predict(reg,X,y,cv = 10)
pred[:10]
结果为：
array([24.15390676, 28.72708662, 15.20575846, 15.84827014, 21.35570108,
23.83676297, 12.95200048, 37.07211543, 19.51976817, 0.61335644])
from sklearn.metrics import r2_score
r2_score(y,pred)
结果为：
0.7212971277918162