机器学习和深度学习中,L2正则化为什么能防止过拟合?

机器学习和深度学习中,L2正则化为什么能防止过拟合?_第1张图片机器学习和深度学习中,L2正则化为什么能防止过拟合?_第2张图片

正则化是为了降低模型的复杂度,模型过于复杂,则过拟合;

与傅里叶变换类似,高频的部分表示细节,尽量减少高频部分的影响;

傅里叶级数也是,高阶表示细节;

当阶数较高时,在不降低拟合结果的前提下,降低高阶项的系数;

高阶部分的系数会很小,但不一定是0,所以用0-范数不合适,用1-范数或2-范数。

对于多项式拟合,也可以用稀疏编码来解释,这里的基向量就是{{x^{n}}},找出一组系数{a_{n}},使得系数{a_{n}}的大多数项都是0或接近于0,只有少数项远大于0. 低阶项表示多项式的大概形状,高阶项表示细节,高阶项的系数就比较小。

深度学习中,正则化是在保证损失函数比较小的前提下,权重参数的总和尽量小,这样只是提取某个特征的大概信息

参考:https://www.zhihu.com/question/389848505/answer/1179908586

稀疏编码:https://baike.baidu.com/item/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81/10289670?fr=aladdin

你可能感兴趣的:(机器学习,深度学习,机器学习,正则化,过拟合)