【深度学习】正则化

深层神经网络会让模型变得更加强大,但是可能带来过拟合,解决的办法就是正则化。

正则化就是指在代价函数后加上一个正则化项

L2正则化

在代价函数后面加上神经网络各层权重参数W所有元素的二次方之和。此时的代价函数为

J=\frac{1}{m}\sum_{i=1}^{m}L(a^{[l](i)})+\frac{\lambda }{2m}\sum_{l=1}^{L}\left \| W^{l} \right \|^{2}

等式右边第一项是神经网络损失,第二项是神经网络各层权重参数W所有元素的二次方之和

正则化项相当于神经网络参数W的惩罚项,神经网路模型之所以发生过拟合,是因为参数W普遍较大,消除这一问题的方法之一就是让高阶参数w3,w4足够小,这样可以达到忽略不计的效果,也就是为了防止过拟合选择一些比较重要的特征变量,删掉很多次要的特征变量。但是实际上我们又希望利用这些特征信息,所以通过正则化约束这些特征变量,使这些特征变量权重很小,接近于0,这样既能保留这些特征变量,又不至于使这些特征变量的影响过大。

L1正则化

正则化项为神经网络各层权重参数W所有元素的绝对值之和

J=\frac{1}{m}\sum_{i=1}^{m}L(a^{[l](i)})+\frac{\lambda }{m}\sum_{l=1}^{L}\left | W^{[l]} \right |^{2}

L1正则化与L2正则化对比

【深度学习】正则化_第1张图片

 靶心处是最优解,w*是正则化限制下的最优解。对于l2正则化来说,限定区域是圆,得到的解为0的概率很小,很大概率是非零的。对于l1正则化来说,限定区域是正方形,w*位于坐标顶点的概率很大,所以l1正则化的解具有稀疏性。

稀疏的解除了具有计算量的好处外,重要的是具有可解释性,只会留下对模型有帮助的关键特征。

正则化系数

起到权衡训练样本误差和正则化项的作用

dropout正则化

待补充

你可能感兴趣的:(深度学习,深度学习)