AI-机器学习-自学笔记（九）套索回归算法

        套索回归法和岭回归法类似，套索回归算法也会惩罚回归系数。在套索回归中，会惩罚回归系数的绝对值。此外，它能够减少变化程度并提高线性回归模型的精度。套索回归算法和岭回归算法有点不同，它使用的惩罚函数是绝对值，而不是平方。这导致惩罚（或等于约束估计的绝对值之和）值使一些参数估计结果等于零。使用惩罚值越大，进一步估计会使缩小值越趋近零。这将导致我们要从给定的N个变量中选择变量。 如果预测的一组变量高度相似，套索回归算法会选择其中的一个变量，并将其他的变量收缩为零。

要点：

• 除常数项以外，这种回归的假设与最小二乘回归类似；

• 它将收缩系数缩减至零（等于零），这确实有助于特征选择；

• 这是一个正则化方法，使用的是 L1 正则化；

• 如果一组预测因子是高度相关的，套索回归会选出其中一个因子并且将其它因子收缩为零。

scikit- leam 中套索算法的实现类是 Lasso，我们还是用波士顿数据集来做个实验

from pandas import read_csv 
from sklearn.model_selection import KFold 
from sklearn.model_selection import cross_val_score 
from sklearn.linear_model import Lasso
#导入数据
filename = 'data/boston_housing.csv'
names =['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PRTATIO','B','LSTAT','MEDV']
data = read_csv (filename , names=names, delim_whitespace=False) 
data=data.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
#将数据分为输入数据和输出结果
array = data.values 
X =array[:,0:13] 
Y =array[:,13]
n_splits = 10 
seed = 7 
kfold = KFold(n_splits=n_splits, random_state=seed,shuffle=True) 
model = Lasso () 
scoring= 'neg_mean_squared_error'
result= cross_val_score(model, X, Y, cv=kfold, scoring=scoring) 
print('Lasso Regression：%.3f' %  result.mean())

打印结果如下：

PS C:\coding\machinelearning>套索回归算法-波士顿数据集.py
Lasso Regression：-26.203
PS C:\coding\machinelearning>