12.权重衰退+QA

权重衰退

  • 权重衰退
  • QA
    • Q∶实践中权重衰减的值一般设置多少为好呢?之前在跑代码的时候总感觉权重衰减的效果并不那么好
    • Q:问老师,为什么要把w往小的拉?如果最优解的W就是比较大的数,那权重衰减是不是会有反作用?

权重衰退

权重衰退是最常见的处理过拟合的方法
权重衰退是通过控制值的选择范围来进行的

12.权重衰退+QA_第1张图片

12.权重衰退+QA_第2张图片

如果没有限制,就可以像蓝色曲线那样,取得很小或者很大的值
通过限制选择范围,减少波动,从而控制模型复杂度

QA

Q∶实践中权重衰减的值一般设置多少为好呢?之前在跑代码的时候总感觉权重衰减的效果并不那么好

  • 一般取e-3,e-4。
  • 权重衰退效果实际上不强。

Q:问老师,为什么要把w往小的拉?如果最优解的W就是比较大的数,那权重衰减是不是会有反作用?

  • 实际数据中存在着噪音,实际解会比最优解偏大

你可能感兴趣的:(李沐深度学习,人工智能,机器学习,深度学习,pytorch)