多元线性回归改进Ridge&Lasso

多元线性回归改进 – 潘登同学的Machine Learning笔记

文章目录

  • 多元线性回归改进 -- 潘登同学的Machine Learning笔记
    • (简单回顾)多元线性回归模型
    • 归一化normalization
      • 归一化的方法
      • 来个小例子试一试?
    • 正则化regularization
      • 正则项
    • Lasso回归 和 Ridge岭回归
      • L1稀疏L2平滑
      • L1稀疏的应用--特征选择
      • Lasso与Ridge例子
    • L1和L2正则项同时作用 -- ElasticNet
      • ElasticNet例子

(简单回顾)多元线性回归模型

  • 总目标:预测

  • 模型:
    y = β 0 + β 1 x 1 + ⋯ + β k x k y = \beta_0 + \beta_1x_1 + \cdots + \beta_kx_k y=β0+β1x1++βkxk

  • 优化目标:MSE
    L o s s = ∑ n = 1 m e r r o r 2 = ∑ n = 1 m ( y ^ − y ) 2 Loss = \sum_{n=1}^{m} error^{2} = \sum_{n=1}^{m} (\hat{y} - y)^{2} Loss=n=1merror2=n=1m(y^y)2

  • 优化方法:梯度下降法
    θ j t + 1 = θ j t − η ∙ g r a d i e n t j \theta_j^{t+1} = \theta_j^{t} - \eta \bullet gradient_j θjt+1=θjtηgradientj

归一化normalization

多元线性回归改进Ridge&Lasso_第1张图片

  • 一个问题:

如果现在多元线性回归中有两个x, 分别代表 x 1 x_1 x1土地价格和 x 2 x_2 x2中长期贷款利率, y表示房价水平;我们知道利率水平都是以5.1%这样的百分数形式出现的, 而土地价格动辄百万;

根据经济学的直觉, 在多元线性回归中 θ 1 \theta_1 θ1肯定要比 θ 2 \theta_2 θ2小得多, 不然因为 x 1 x_1 x1的量级远超过 x 2 x_2 x2,房价就由土地价格完全决定了;

再看回我们的梯度下降算法:
θ j t + 1 = θ j t − η ∙ g r a d i e n t j g j = ( θ T X − Y ) x j \begin{aligned} \theta_j^{t+1} &= \theta_j^{t} - \eta \bullet gradient_j \\ g_j &= (\theta^{T}X - Y)x_j\\ \end{aligned} θjt+1gj=θjtηgradientj=(θTXY)xj

仔细揣摩上式,可以发现梯度下降法其实是受两个因素影响的:

  • θ \theta θ θ ^ \hat{\theta} θ^的距离, 也就是距要求的 θ \theta θ的距离;
  • g r a d i e n t gradient gradient的大小;

可以观察到 g j g_j gj的大小其实是收到 x j x_j xj影响的, 而量纲大的土地价格 g r a d i e n t 1 gradient_1 gradient1就会大, 走的就快;而碰巧量纲大的 θ 1 \theta_1 θ1又比较小, 假设起点都是0, 在这两个因素的共同作用下, θ 1 \theta_1 θ1能更快的收敛;

所以我们需要消除量纲, 消除量纲这种事情其实在数据统计分析里面也经常做, 目的其实差不太多,我们只是用梯度下降的视角去解释了一下;

归一化的方法

  • 最大值最小值归一化
    X i , j ∗ = X i , j − X j m i n X j m a x − X j m i n X_{i,j}^{*} = \frac{X_{i,j}-X_j^{min}}{X_j^{max}-X_j^{min}} Xi,j=XjmaxXjminXi,jXjmin
    注意:如果数据中有离群值, 即一个很大的 X k 1 X_{k1} Xk1那么整列 X 1 X_1 X1数据都会变得非常接近0,而只有一个1, 这样数据就失去了意义, 这种方法不好;

  • 标准归一化
    X i , j ∗ = X i , j − X j m e a n X j s t d X_{i,j}^{*} = \frac{X_{i,j}-X_j^{mean}}{X_j^{std}} Xi,j=XjstdXi,jXjmean
    注意:标准归一化并不能将数据缩放到0-1之间, 但是他能显著增加梯度下降法的速度;

回到梯度下降法

( θ 0 t + 1 θ 1 t + 1 θ 2 t + 1 ) = ( θ 0 t θ 1 t θ 2 t ) − η ( θ T X − Y ) ( X 0 X 1 X 2 ) {\begin{pmatrix} \theta_0^{t+1} \\ \theta_1^{t+1} \\ \theta_2^{t+1} \\ \end{pmatrix}} = {\begin{pmatrix} \theta_0^{t} \\ \theta_1^{t} \\ \theta_2^{t} \\ \end{pmatrix}}- \eta (\theta^{T}X - Y) {\begin{pmatrix} X_0 \\ X_1 \\ X_2 \\ \end{pmatrix}} θ0t+1θ1t+1θ2t+1=θ0tθ1tθ2tη(θTXY)X0X1X2
考虑下面的情形:

对所有的 θ \theta θ而言, η ( θ T X − Y ) \eta (\theta^{T}X - Y) η(θTXY)是共用的, 要是所有的数据维度,都是正数的话, 那么 θ \theta θ在每一次梯度下降中更新的方向都是一样的(同增同减)

像下图所示,要想从 wt 更新到 w* 就必然要么 W1 和 W2 同时变大再同时变小,或者就 W1 和 W2 同时变小再同时变大。不能走蓝色的最优解路径,即 W1 变小的时候 W2 变大。(机器学习中的模型其实就是参数, 说训练模型,其实就是调整参数, 参数用 θ \theta θ或W来表示都可以)

多元线性回归改进Ridge&Lasso_第2张图片

  • 问题:怎么能让 W1 变小的时候 W2 变大呢?

改变数据的符号就可以啦!让X中的数有正有负就能实现蓝色路径这样的;而标准归一化减去均值的操作就能到达目的!!!

来个小例子试一试?

#%%归一化
from sklearn.preprocessing import MinMaxScaler,StandardScaler
import numpy as np
scaler = MinMaxScaler()
temp = np.arange(5)
print('最大值最小值归一化...')
print(scaler.fit_transform(temp.reshape(-1,1)))  #先摆成列再做归一化

scaler1 = StandardScaler()
print('均值归一化...')
print(scaler1.fit_transform(temp.reshape(-1,1)))
# 打印结果
print('均值为:', scaler1.mean_)
print('标准差为:',scaler1.var_)

正则化regularization

  • 过拟合和欠拟合

(1) under fit:还没有拟合到位,训练集和测试集的准确率都还没有到达最高。学的还不到位

(2) over fit:拟合过度,训练集的准确率升高的同时,测试集的准确率反而降低。学的过 度了,做过的卷子都能再次答对,考试碰到新的没见过的题就考不好。

(3) just right:过拟合前训练集和测试集准确率都达到最高时刻。学习并不需要花费很多 时间,理解的很好,考试的时候可以很好的把知识举一反三。真正工作中我们是奔着过 拟合的状态去调的,但是最后要的模型肯定是没有过拟合的

如下图, (1)表示欠拟合, (2)表示过拟合, (3)表示刚刚好:

多元线性回归改进Ridge&Lasso_第3张图片

  • 鲁棒性Robust

正则化就是防止过拟合,增加模型的鲁棒性 robust,鲁棒是 Robust 的音译,也就是强壮的意思。就像计算机软件在面临攻击、网络过载等情况下能够不死机不崩溃,这就是该软件的鲁棒性。鲁棒性调优就是让模型拥有更好的鲁棒性,也就是让模型的泛化能力和推广能力更加的强大。

而对于MLR模型来说, 当X有波动的时候, 对于预测结果并没有什么影响, 那这个模型的鲁棒性就比较好了;

所以正则化(鲁棒性调优)的本质就是牺牲模型在训练集上的正确率来提高推广能力, θ \theta θ 在数值上越小越好,这样能抵抗数值的扰动。同时为了保证模型的正确率 θ \theta θ 又不能极小。 故而人们将原来的损失函数加上一个惩罚项;

正则项

  • L1正则项
    L 1 = ∑ i = 1 m ∣ θ i ∣ L_1 = \sum_{i=1}^{m} \left\vert \theta_i \right\vert L1=i=1mθi
  • L2正则项
    L 2 = ∑ i = 1 m θ i 2 L_2 = \sum_{i=1}^{m} \theta_i^2 L2=i=1mθi2

正则项其实就是范数, 代表代表空间中向量到原点的距离;并非所有距离都像我们几何中的距离, 只有欧氏空间的距离度量是用平方和开根来计算; L1范数就是曼哈顿距离, 如下图,绿色的就是欧式距离,其他都是曼哈都距离:

多元线性回归改进Ridge&Lasso_第4张图片

Lasso回归 和 Ridge岭回归

在原有的多元线性回归的Loss后加上一个L1正则项后,就产生Lasso回归

在原有的多元线性回归的Loss后加上一个L2正则项后,就产生Ridge岭回归

多元线性回归改进Ridge&Lasso_第5张图片

L1稀疏L2平滑

通常我们会说 L1 正则会使得计算出来的模型有的 θ \theta θ 趋近于 0,有的 θ \theta θ 相对较大,而 L2 会使得 θ \theta θ 参数整体变小,这是为什么呢?

  • 从梯度下降法考虑
    • Lasso回归

      Loss函数:
      L o s s L a s s o = ∑ i = 1 m ( y ^ − y ) 2 + λ ∑ i = 1 n ∣ θ i ∣ Loss_{Lasso} = \sum_{i=1}^{m} (\hat{y} - y)^{2} + \lambda \sum_{i=1}^{n} \left\vert \theta_i \right\vert LossLasso=i=1m(y^y)2+λi=1nθi
      梯度:
      g j R i d g e = ( θ T X − Y ) x j ± λ g_j^{Ridge} = (\theta^{T}X - Y)x_j \pm \lambda gjRidge=(θTXY)xj±λ

    • Ridge岭回归

      Loss函数:
      L o s s R i d g e = ∑ i = 1 m ( y ^ − y ) 2 + λ 2 ∑ i = 1 n θ i 2 Loss_{Ridge} = \sum_{i=1}^{m} (\hat{y} - y)^{2} + \frac{\lambda}{2} \sum_{i=1}^{n} \theta_i^2 LossRidge=i=1m(y^y)2+2λi=1nθi2
      梯度:
      g j R i d g e = ( θ T X − Y ) x j + λ θ i g_j^{Ridge} = (\theta^{T}X - Y)x_j + \lambda \theta_i gjRidge=(θTXY)xj+λθi

我们可以看到是 L1 每次会多走 η \eta η的幅度,我们知道 η \eta η学习率一开始设置一个常数,学习率是 0.5 的话,比如 θ 1 \theta_1 θ1 多走 0.5, θ 2 \theta_2 θ2 也是多走 0.5,反观 L2 每次多走的幅度是之前的 2 倍的 θ i t \theta_i^t θit,学习率是 0.5 的话,那么就 θ 1 \theta_1 θ1就多走 θ 1 t \theta_1^t θ1t, θ 2 \theta_2 θ2 就多走 θ 2 t \theta_2^t θ2t;

观察上图, 红色区域其实是正则项本身的一个函数等高线图, 而紫色区域是原Loss的等高线图,要使他们的之和最小的 θ \theta θ就是他们的交点处(细品, 把这两个函数当作三维图的话,他俩一叠加,最小值就出现在交点处)

而对于L1,交点常会出现在坐标轴上, 而L2会使得 θ \theta θ都减小

  • 深入理解L1稀疏L2平滑

接着上图, 对于原本Loss的最小点(紫色点), 加上正则项,他就得往原点附近靠;

而根据Lasso的导数, θ \theta θ的移动步长都一样(即 θ 1 \theta_1 θ1向左走一单位, 那 θ 2 \theta_2 θ2也会向下走一单位), 这样一走容易走到坐标轴上(如果提前与方形区域相交, 就不会在坐标轴上)

但对于Ridge岭回归来说, 当 θ 1 \theta_1 θ1越接近0的时候,它走的就越慢, 就相当于在等待 θ 2 \theta_2 θ2接近0, 所以L2与L2等高线相交的位置一般不会是坐标轴;

L1稀疏的应用–特征选择

因为L1稀疏, 有一些 θ j \theta_j θj会变为0, 就意味着这些属性的数据其实是没啥意义的, 就可以帮助我们筛掉一些特征, 减少计算量, 让我们专注在重要特征的处理上;

Lasso与Ridge例子

  • Ridge(L2)
#%%ridge_regression岭回归(l2)
import numpy as np
from sklearn.linear_model import Ridge

np.random.seed(2)
x = 2*np.random.rand(100,1)
#观察值         误差(服从正态分布)
y = 5 + 4*x + np.random.randn(100,1)

reg = Ridge(alpha = 0.4,solver = 'sag')  #sag表示随机梯度下降
reg.fit(x,y)   #这里的x不用传截距项
print(reg.predict([[2]]))  #这里预测值一定要是矩阵形式(二维数组)
print(reg.intercept_)
print(reg.coef_)

可以尝试修改一下alpha参数, alpha越大就表明越看重模型的泛化能力, 当alpha设置为0时, 就相当于普通的多元线性回归, 如果设置为0, 跑一把模型, 会显示Coordinate descent with no regularization may lead to unexpected results and is discouraged.其实就是说没设置正则项;

  • Lasso(L1)
#%%lasso regression(L1正则项)
import numpy as np
from sklearn.linear_model import Lasso

np.random.seed(2)
x = 2*np.random.rand(100,1)
#观察值         误差(服从正态分布)
y = 5 + 4*x + np.random.randn(100,1)

reg = Lasso(alpha = 0.4,max_iter=1000000)  #这里无需传入梯度下降的方法 max_iter表示迭代次数
reg.fit(x,y)   #这里的x不用传截距项
print(reg.predict([[2]]))  #这里预测值一定要是矩阵形式(二维数组)
print(reg.intercept_)
print(reg.coef_)

L1和L2正则项同时作用 – ElasticNet

ElasticNet就是把Loss同时加上了L1正则和L2正则,没啥特别的
L o s s E l a s t i c N e t = ∑ i = 1 m ( y ^ − y ) 2 + λ ρ ∑ i = 1 n ∣ θ i ∣ + λ ( 1 − ρ ) 2 ∑ i = 1 n θ i 2 Loss_{ElasticNet} = \sum_{i=1}^{m} (\hat{y} - y)^{2} + \lambda \rho \sum_{i=1}^{n} \left\vert \theta_i \right\vert+\frac{\lambda(1-\rho)}{2} \sum_{i=1}^{n} \theta_i^2 LossElasticNet=i=1m(y^y)2+λρi=1nθi+2λ(1ρ)i=1nθi2

ElasticNet例子

#%%ElasticNet (既使用L1,也使用L2)
import numpy as np
from sklearn.linear_model import ElasticNet

np.random.seed(2)
x = 2*np.random.rand(100,1)
#观察值         误差(服从正态分布)
y = 5 + 4*x + np.random.randn(100,1)

reg = ElasticNet(alpha = 0.4,l1_ratio = 0.5,max_iter=1000000)  #这里无需传入梯度下降的方法 max_iter表示迭代次数
reg.fit(x,y)   #这里的x不用传截距项
print(reg.predict([[2]]))  #这里预测值一定要是矩阵形式(二维数组)
print(reg.intercept_)
print(reg.coef_)

多元线性回归的改进Ridge和Lasso就是这样了, 继续下一章吧!pd的Machine Learning

你可能感兴趣的:(机器学习,算法,机器学习,python,sklearn,回归)