Pytorch优化器的权重衰减（weight_decay）

L2正则化：

$L=E_e+\lambda \sum w_i^2$
$E_e$:是训练数据个标签之间的误差
$w_i$:表示权重值

在反向传播计算梯度时，对每个权重点来说，就是在原本计算的$E_e$梯度上，再加上$2\ast \lambda \ast w_i$, ２和$\lambda$可一起看做常数项系数．

Pytorch里实现的权重衰减:

再看看Pytorch里实现的权重衰减方式：
从源代码来看．pytorch中对self.weight和self.bias参数都进行了L2正则化，weight_decay是衰减系数．