权重衰退-沐

目录

  • 使用均方范数作为硬性限制
  • 演示对最优解的影响
  • 参数更新法则
  • 总结

使用均方范数作为硬性限制

  • 通过限制参数值的选择范围来控制模型容量
    在这里插入图片描述
    权重衰退-沐_第1张图片
  • 通常不限制偏移b(限不限制都差不多)
  • 小的值意味着更强的正则项
    权重衰退-沐_第2张图片

演示对最优解的影响

权重衰退-沐_第3张图片

参数更新法则

权重衰退-沐_第4张图片

总结

  • 权重衰退通过L2正则项使得模型参数不会过大,从而控制模型复杂度
  • 正则项权重是控制模型复杂度的超参数

你可能感兴趣的:(深度学习,深度学习,机器学习,线性回归)