weight decay

1、定义:在损失函数中,weight decay是放在正则项前面的一个系数,在模型训练过程中设置权重衰减为了应对模型过拟合问题(使得在梯度下降过程中权重乘以一个系数实现权重的缩小)

weight decay_第1张图片

对上述函数进行推导后,得

weight decay_第2张图片

weight decay_第3张图片

 权重衰减率一般设置为1*e-5

2、pytorch实现

参考:Pytorch优化器的权重衰减(weight_decay)_笨笨的蛋的博客-CSDN博客_pytorch 权重衰减

你可能感兴趣的:(深度学习,机器学习)