Overfitting怎么解决? L1和L2正则化介绍

作者:离散梦

欢迎大家给出宝贵的建议!

 

Overfitting怎么解决? L1和L2正则化介绍

 

Overfitting怎么解决?

Regularizatin(L1、L2正则化)、dropout、Batch Normalization、Early Stopping

 

L2正则化:(权重衰减惩罚)

 

Overfitting怎么解决? L1和L2正则化介绍_第1张图片

对b没有更新,W有更新。

为学习率】

 

所以L2正则化是减小W,也就是权重衰减(weight decaying)。但因为后面导数项,所以W可能增大也可能减小。

 

L1正则化:(参数稀疏性惩罚)

 

 

当W为正,更新后W变小。当w为负时,更新后W变大,因此它的效果就是让W往0靠,使网络中的权重尽可能为0,也相当于减小了网络的复杂度,防止过拟合。

注:W=0时,不可导,规定sgn(0)=0,编程时令sgn(0),sgn(W>0)=1,sgn(W<0)=-1。

你可能感兴趣的:(机器学习)