关于weight decay

weight decay的作用主要是令神经网络中的权重变小（趋于0），以防止过拟合
如$y={\sum }_i{w}_i{x}_i$，则因噪声的存在，可能会令其中某几个$w$偏大，导致无法正确拟合正常输入
weight decay的公式为：

$C=C_0+\frac{\lambda }{2n}{\sum }_i{w}_i^2$

$\frac{\partial C}{\partial w_k}=\frac{\partial C_0}{\partial w_k}+\frac{\lambda w_k}{n}$

其中$C_0$为原误差，$\lambda$为weight decay系数，也可以看做是惩罚值, $\frac{1}{2}$则用于求导时的简化

原始梯度下降$w_{new}=w_{old}-\eta \Delta ,\Delta =\frac{\partial C_0}{\partial w_k}$

使用了weight decay之后，$\Delta$中多了一项$\frac{\lambda w_k}{n}$，即对梯度下降时较大的权重，会赋予较大的惩罚值，使新的w趋于0

而在选取decay值上，目前尚没有比较普适的公式
How could I choose the value of weight decay for neural network regularization 中提到用平时调参时常用的两种策略：grid search 和 random search
其实都是类似穷举，首先需要有个验证集（不同于训练集），分别对验证集采取不同decay值(如0.5, 0.1, 0.01等等)进行测试，选取其中效果较好的decay，即作为训练集的decay