动手学深度学习-李沐(7)

一、权重衰退

常用的处理过拟合的方法

1、使用均方范数作为硬性限制

      通过限制参数值的选择范围来控制模型容量

       限制w的数值 

2、使用均方范数作为柔性限制(常用)

动手学深度学习-李沐(7)_第1张图片

动手学深度学习-李沐(7)_第2张图片

  补:正则项就是防止损失函数最优导致过拟合,把损失函数的最优点往外拉一拉

动手学深度学习-李沐(7)_第3张图片

 3、总结

权重衰退通过L2正则项使得模型参数不会过大,从而控制模型复杂度

正则权重是控制模型负责度的超参数

你可能感兴趣的:(深度学习,人工智能,算法)