【跟李沐学AI—动手学深度学习 pytorch版】学习笔记

第12节 权重衰减（待完善）

下式为带正则项的优化函数，正则项会牵引着参数w尽量往零点移动。
对上式计算梯度可得
梯度更新为
而$\eta \lambda$一般小于1，在深度学习中通常叫做权重衰减。