线性回归Lasso(L1)和岭回归(L2)区别

L1和L2比最大的区别是L1得到的参数解有更多的零,就是解更稀疏。

有两种较直观的解释:

1.最小均方函数导数不为0时,L2导数加上最小均方函数导数肯定不为0。但是L1的正则项是绝对值函数,导数为0只要在x从左边趋向于0和从右边趋向于0时导数异号就行,所以更容易得到稀疏解。

2.目标函数最小均方差解空间为同心圆,L2解空间也为同心圆,L1解空间为菱形,两个解空间相交处为最优值。如图1所示。

线性回归Lasso(L1)和岭回归(L2)区别_第1张图片
目标函数和正则式解空间

你可能感兴趣的:(线性回归Lasso(L1)和岭回归(L2)区别)