防止过拟合

方法有三:

  • L1和L2正则
  • Dropout
  • early stop

1. L1和L2正则:

  • 模型权重越小,复杂度越低。越能防止过拟合
  • L1正则和L2正则 公式、以及反向梯度传播: https://jackaudrey.gitbooks.io/machina-learning/content/fu-ff1a-ji-qi-xue-xi-bu-chong-zhi-shi-li-jie-shuo-ming/02l1he-l2-regularization.html

你可能感兴趣的:(防止过拟合)