深度学习之权重衰退

一 . 什么是权重衰退

模型在训练的过程中可能过拟合,这一般是由于数据复杂度太低而模型容量太大导致的,简而言之就是数据太简单,模型太复杂,模型学习到了数据的一切,包括噪音。此时,权重往往会很大(受噪音影响),显然模型并没有训练到最优(虽然它记住了训练数据的一切,但是对于新的样本泛化能力很差)。所以,我们想要适当降低权重,使模型接近最优,这样模型的泛化性能提升就适当的解决了过拟合问题,这就是权重衰退。

二. 详细内容

深度学习之权重衰退_第1张图片
深度学习之权重衰退_第2张图片
深度学习之权重衰退_第3张图片
深度学习之权重衰退_第4张图片
深度学习之权重衰退_第5张图片
深度学习之权重衰退_第6张图片

你可能感兴趣的:(深度学习,深度学习,神经网络,机器学习)